Generative AI, Deepfake란 무엇인가?

왜 우리는 AI에 집중해야 하는가?

 

이미 급속히 발전하고 있는 AI 시장을 멈출 방법은 없기 때문에 이에 자연스럽게 환승해야하는 것이 가장 크다. 실제로 2022년을 시작해서 전세계적으로 거대 IT기업에서 해고가 발생하고 있으며 크게 AI의 발전으로 인한 필수 인력의 감소가 가장 큰 이유로 드러나고 있다.

 

더 새로운, 쉬운 툴이 나오고 있는 마당에 굳이 비싼 인력을 여러명 써서 일하지 않아도 되기 때문에.

이런 움직임은 당연하면서도 안타까운 현실이다.

 

 

비관론적인 의견들이 속속들이 등장하고 있으며 ‘AI가 사람들의 일을 앗아갈 것이다’ 라는 예측이 더욱이 부상하고 있다. 하지만 이 예측은 반은 맞고 반은 틀리다.

한쪽의 문이 닫히면 다른 한쪽이 열리듯이.

이전에는 불가능했던 많은 것들이 가능해졌다.

 

예컨대 한명의 일러스트레이터 혹은 화가가 해야할 일을 머신 러닝을 통해 트레이닝이 되어 다른 범주의 표현을 더 용이하고 저렴하게 할 수있다는 것이다. AI가 재능있는 테크 기업, 컴퓨터 사이언스 전공자를 위한 전유물이라 생각하면 오산이다. 사실은 그것의 정반대가 될것이다.

 

내가 겪어보고 활용해본 AI는 모두의 능력치를 평준화 시켜주는 아이러니한 툴이였다.

 

Deepfake란 무엇인가?

 

CS(Computer Science)에 관심없던 내가 AI에 관심을 가진 계기는 딥페이크 때문이었다.

 

대부분의 사람들이 불법적이라 생각하는 딥페이크.

대중매체에서는 딥페이크는 나쁜것, 불법적 성향이 강한것이라는 프레임을 씌우기에 바쁘지 이외의 것에는 많이 집중하지는 않고 있다.

 

대중 미디어에서는 딥페이크를 불법적 수단으로만 크게 조명하고 있지만.

실상으로는 생각보다 많은 분야에서 딥페이크는 이미 활용되고 있다.

내가 보는 영화, 드라마, 코미디 쇼, 뮤직비디오 웬만한 영상 미디어에는 상용화가 끝난 상태지만

누구도 구태여 밖으로 말하고 있지는 않는 것이다.

 

딥페이크를 파보지 않았다면 이런 나쁜 이미지에만 집중하게 된다.

 

하지만 반감을 떨치고 제대로 툴에 집중한다면 앞으로의 트렌드를 조명할 수 있게 된다. 

 

 

Deepfake의 활용 범위

현재 할리우드 현지에서 이 기술로 밥벌이를 하고 있는

나의 활용 경우를 예로 들자면 크게 세 가지를 들 수 있다. 

 

1) De-aging

2) Face Swap/Replacement

3) Beauty Fix

---

1) De-aging

말 그대로 젊게 만드는 법이다. 어느 정도의 노하우가 필요한 작업이고 보통은 모델 트레이닝과 machine learning 과정 이 필요하기 때문에 난이도가 높고, 시간이 어느정도 소요된다.

그만큼 정확도가 상승하고 좋은 퀄리티의  de-aging영상을 제작할 수있지만.

아이러니하게도 어느정도 나이 제약을 동반하기도 한다.

 

예컨대 70대가 10대로 탈바꿈하는 것은 이론상 가능하지만.

실상으로는 얼굴을 제외한 나머지 부분이 너무나도 부자연스럽기때문이다.

 

 

 

2) Face Swap/Replacement

이 경우에는 80대가 20대의 시절을 재현 하려는 경우에 많이 쓰이는 방법이다.

위의 사례와 비슷하게 모델 트레이닝을 거쳐야 하며 얼굴을 바꿔 끼우는 모델을 구할 때 많은 고심을 해야 한다.

 

모델 선정을 할 때 함께 어드바이징을 하는 단계에 참여하기도 했는데. 이목구비가 비슷한 연기자, 모델을 선정하면서 어느 정도 이상한 감정을 느끼기도 했다. 언젠가 봤던 영화 <Surrogate 2009>를 보는 것과 같은 기분을 느꼈기 때문이다. 실제 사람이 아바타화되는 것 같은 기분에 기술 윤리가 떠올랐던 순간이었다.

 

 

 

3) Beauty Fix

가장 문제 되지 않고, 실용적인 부분이라 생각한다.

 

말 그대로 덜 주름진 clear 한 피부 표현을 덧대어해주는 것인데.

Tiktok이나 카메라 필터에 쓰이는 피부 표현을 세분화되어하는 좀 더 현실적이 표현을 도와주는 것이다. 

 

[eng]

The swift evolution of the AI market is becoming an undeniable force, with its natural progression taking center stage. As we step into 2022, major IT players across the globe are experiencing workforce reductions on a global scale, mainly due to the ongoing evolution of AI. This shift is largely driven by the introduction of new, user-friendly tools that streamline operations, rendering the need for costly human resources obsolete.

Pessimistic viewpoints are emerging, predicting that AI will take away jobs from people. However, this prediction is only partially accurate; when one door closes, another opens. Many tasks that were once deemed impossible have become feasible. For instance, the use of machine learning enables illustrators or artists to train AI to handle their tasks, making diverse expressions more accessible and cost-effective. Considering AI as an exclusive tool for talented tech companies and computer science professionals is a misconception; in reality, it is quite the opposite.

The AI I have personally experienced and utilized has been an ironic tool that levels everyone's capabilities. My interest in AI was sparked by the advent of deepfakes.

 

Most people perceive deepfakes as illegal activities. Mainstream media often frames deepfakes as inherently bad, focusing on their illegal nature. However, beyond this negative image, deepfakes are already being utilized in various fields. Movies, dramas, comedy shows, music videos, and other visual media commonly employ deepfake technology, though this is not widely acknowledged.

 

If one does not delve into understanding deepfakes, they may fixate on this negative image. However, by overcoming biases and concentrating on the tool itself, one can better focus on future trends.

 

As someone currently earning a living in Hollywood using this technology, I can outline three major applications of deepfakes:

 

1. De-aging

   -This process revolves around portraying individuals in a younger light. Despite demanding a specific level of proficiency and involving model training alongside machine learning processes, it results in top-notch de-aging videos. Nevertheless, there are constraints, and attaining an entirely natural appearance can pose a challenge. Ironically, the primary limitation in de-aging via deepfake pertains to age. When actors or actresses in their 70s attempt to revert to their teenage or even 20s appearance, it compromises the realism, generating discomfort among the audience due to the mismatch between the talent's age and the rest of their physique.

 

2. Face Swap/Replacement

  - Frequently employed to replicate an individual's youthful appearance, this technique, akin to de-aging, demands model training. Selecting models with facial features resembling the subject requires careful consideration. Ethical dilemmas emerge as the technology blurs the distinction between reality and representation.

 

To achieve a relatively flawless outcome, seeking guidance from a deepfake artist is crucial, especially in the selection of models for replacement. At times, while offering advice, I've sensed a peculiar discomfort, reminiscent of the first viewing experience of the 2009 movie 'Surrogate,' as if touching upon the boundary of humanity in the creative process.

3. Beauty Fix

   - This particular application is regarded as less troublesome and more pragmatic. It refines skin texture, reducing wrinkles for a lifelike depiction. Widely utilized in platforms such as TikTok and camera filters, it offers a nuanced and genuine representation of smooth skin. The use of high-definition, intricate facial portraits extends to other mediums, including TV shows, music videos, and movies.