다음 미션임파서블에서 톰 크루즈는 더 이상 인간 조수가 필요 없고 AI만으로 충분하다

—— Chao Shen Ke 지음

변장은 영화나 소설에서 흔히 볼 수 있다. 예를 들어, 인기 영화 "미션 임파서블 6"에서 벤지(톰 크루즈의 부하)는 가짜 얼굴을 사용해 악당의 진짜 정체를 밝혔습니다.

미션임파서블 시리즈 전체에서 가면을 바꾸는 것은 표준적인 동작으로 간주될 수 있습니다.

영상 속 캐릭터를 변장시키는 AI 마술사

실제로 얼굴을 바꾸는 것은 어렵지 않습니다. 메이크업이나 맞춤형 얼굴 마스크를 사용하면 가짜를 진짜처럼 보이게 만들 수 있습니다. 게다가 요즘은 모두가 몰려드는 '사진 속이기' 기술도 있습니다.

하지만 영상 작품 속 캐릭터의 얼굴을 바꾸는 것은 여전히 큰 과제입니다. 역동적인 캐릭터 이미지의 얼굴을 바꾸려면 높은 이미지 처리와 교체 능력이 필요하기 때문입니다.

작품 촬영이 절반쯤 진행되어 배우를 교체해야 할 경우, 대개 대본을 바꾸거나 대역을 구하거나 특수효과를 추가합니다(등장인물 장면을 편집해서 없애는 경우도 있습니다). 하지만 이러한 방법은 비용이 많이 들고, 품질이 떨어질 수도 있습니다.

예를 들어, 폴 워커의 사고사는 "분노의 질주 7"에서 여러 가지 방법으로 보상되었고, 촬영의 복잡성도 몇 배나 증가했습니다.

영상 속 캐릭터의 '얼굴을 바꾸는 것'이 가능하다면 이 문제는 쉽게 해결될 수 있다.

머신러닝 알고리즘을 기반으로 하는 얼굴 바꾸기 프로그램인 딥페이크는 AI 얼굴 바꾸기 마술사라고 할 수 있습니다. 작년 말에 "딥페이크"라는 단어가 갑자기 등장했습니다. 이를 통해 사용자는 어떠한 거부감 없이 영상 속 캐릭터를 자신이 좋아하는 "아이돌"로 바꿀 수 있습니다.

하지만 이 프로그램의 강력한 마법으로 인해, 이 프로그램이 출시된 이후로 포르노 영화와 TV 쇼에서 얼굴을 바꾸는 데 자주 사용되었습니다. 사람들은 일부 프로그램을 사용해 포르노 영화의 주인공을 자신이 보고 싶은 사람으로 바꾼다. 음...

이를 남용하면 곧 침해, 개인정보 보호, 보안 문제가 발생할 것입니다. 결국 불법적으로 합성된 음란물이 발견되고 초상권, 명예권 등의 문제를 심각하게 침해했다는 사실이 드러나자 트위터, 폰허브, 레딧 등의 웹사이트는 모두 이 사이트와 거리를 두고 딥페이크가 합성한 콘텐츠의 게시를 금지한다고 발표했습니다.

마치 차가운 궁전에 갇혀버린 것처럼 보일지 모르지만, 이야기는 아직 끝나지 않았습니다.

딥페이크, 새로운 활력을 얻다

몇몇 주요 소셜 네트워크 사이트에서는 딥페이크를 완전히 금지했지만, 딥페이크가 완전히 사라진 것은 아닙니다.

포르노 산업의 강력한 추진력이 이 산업에 새로운 활력을 불어넣었습니다.

미국 캘리포니아에 있는 포르노 영화 및 TV 제작사인 Naughty America는 최근 DeepFakes를 통한 개인 맞춤형 서비스를 출시했습니다. 사용자는 AV 영화 속 캐릭터의 얼굴을 바꾸기 위해 비용을 지불할 수 있습니다.

Naughty America의 유료 서비스를 이용하면 캐릭터의 얼굴뿐만 아니라 비디오 배경도 변경할 수 있습니다. 짧은 영상 변환 비용은 수백 달러에 불과하지만, 더 복잡한 영상 변환 비용은 최대 수천 달러에 달할 수 있습니다.

프로세서 컴퓨팅 비용을 지불하는 것 외에도 이 돈은 캐릭터 초상화 사용권을 구매하는 데에도 사용될 예정입니다. 따라서 Naughty America는 저작권 침해 문제는 해결했지만, 라이선스가 있는 "얼굴"로만 변환할 수 있다는 한계가 있습니다.

변환 효과 측면에서 Naughty America는 DeepFakes를 업그레이드하여 얼굴과 배경을 변환할 때 퓨전 효과가 뛰어나 거의 구별할 수 없을 정도입니다. 하지만 원하는 얼굴로 변신하기 위해서는 사용자들이 사전에 대량의 표정 사진과 영상을 업로드해야 합니다(물론, 침해 내용은 포함되지 않습니다). 이는 딥페이크의 훈련 데이터셋입니다.

보안을 강화하기 위해 Naughty America는 비디오에 워터마크를 추가하여 해당 비디오가 "가짜" 비디오임을 나타냅니다.

그렇다면 이 AI 마술사는 어떻게 '얼굴 바꾸기'를 달성하는 걸까? 우리는 단지 기술에 대한 호기심으로 그것을 탐구해 보았을 뿐입니다. 「정의의 얼굴.jpg」

딥페이크 전술 해체

DeepFakes의 핵심은 딥 신경망 모델입니다. 주로 인코더와 디코더로 구성됩니다. 얼굴 변환을 수행할 때, 인코더는 이미지를 인코딩한 다음 디코더를 통과하여 새로운 이미지를 출력합니다.

신청 과정에서는 이미지 변환의 품질이 보장되어야 하며, 변환 대상을 정확하게 식별해야 합니다. AI 모델은 원본 영상 속 캐릭터의 얼굴과 대체 인물의 얼굴을 각각 인코딩하고 디코딩하므로, 얼굴이 바뀌었을 때 두 사람의 표정이 1:1로 대응할 수 있습니다.

예를 들어 설명해 보겠습니다. 여기에서는 미국의 토크쇼 진행자 지미 팰런과 존 올리버를 예로 들어 팰런의 얼굴을 올리버의 얼굴로 바꾸는 방법을 간략하게 설명하겠습니다.

전체 과정은 세 단계로 나뉩니다.

두 면 모두에 동일한 인코더가 사용되며, 디코더 A는 Fallon을 출력하고 디코더 B는 Oliver를 출력합니다.

1) Fallon과 Oliver를 각각 인코딩 및 디코딩하여 모델이 복잡한 이미지에서 Fallon과 Oliver의 얼굴 표정을 인식하고 얼굴 표정을 표시할 수 있도록 합니다.

2) 두 디코더가 각각 두 사람의 얼굴을 복원할 수 있을 때까지 1)단계를 반복하고, 인코더는 학습을 통해 Fallon과 Oliver를 주요 얼굴 정보로부터 구별할 수 있습니다.

3) 위의 단계를 완료한 후, 디코더 A로 사진 출력을 다시 인코딩하고 디코더 B를 직접 사용하여 얼굴 표정 특징에 따라 Fallon의 얼굴을 Oliver의 얼굴로 바꿉니다.

이렇게 하면 팰런의 얼굴을 올리버의 얼굴로 완벽하게 바꿀 수 있습니다. 믿기 어려울 정도지만, 신경망의 강력한 데이터 처리 능력을 활용하면 하드웨어에 장애가 발생하지 않는 한 실현 가능합니다. 그러나 훈련 세트의 데이터가 제한적이기 때문에 간단한 표현식의 융합 효과는 복잡한 표현식의 융합 효과보다 훨씬 더 좋습니다.

딥페이크의 약점

딥페이크의 퓨전 효과는 매우 뛰어나지만, 구체적인 연습 과정에는 몇 가지 한계가 있는 것으로 보입니다.

첫째, DeepFakes는 학습을 위해 많은 이미지가 필요합니다.

영상에서 캐릭터의 얼굴을 바꾸고 싶다면 300~2000개의 얼굴 이미지가 필요합니다. 게다가 필요한 숫자는 얼굴 표정의 복잡성과 새로운 인물과 원본 영상의 일치 정도에 따라 달라집니다.

이런 방식으로 현재의 페이스스와핑은 온라인에 많은 사진을 보유하고 있는 사람, 예를 들어 인터넷에 자주 등장하는 유명인사에게 적합합니다. 그러므로 딥페이크가 모든 사람의 얼굴을 바꾸는 것은 어렵습니다.

둘째, 훈련에 사용되는 사진에는 특징이 있어야 합니다.

AI 모델은 훈련된 사진에 의존합니다. 위의 얼굴 바꾸기 예에서 데이터 세트에는 올리버의 측면 프로필 사진이 없기 때문에 DeepFakes는 올리버의 측면 프로필을 복원할 수 없습니다. 따라서 특정 얼굴 표정을 표현하고 싶다면, 훈련 세트의 이미지에는 해당 표정이 대량으로 포함되어야 합니다.

마지막으로, 얼굴 바꾸기 모델을 훈련하는 것은 시간이 많이 걸리고 노동 집약적입니다.

현대 기술로는 영상 속 얼굴을 바꾸는 데 비용이 많이 듭니다.

딥페이크에서 일반적인 얼굴 변신을 완료하는 데는 약 48시간이 걸리지만, 좀 더 세부적인 변장을 완료하는 데는 약 72시간의 훈련이 필요합니다.

또한, 모델 학습에는 높은 하드웨어 요구 사항이 있습니다. 시간당 0.50달러의 GPU를 임대한다면 캐릭터 A와 B의 얼굴을 바꾸는 데만 36달러가 들 것입니다. 여기에는 대역폭 요금과 CPU, I/O 비용은 포함되지 않습니다. 비용이 저렴하지 않습니다.

하지만 DeepFakes를 사용하는 것이 상당히 사치스러운 일이라 하더라도 Naughty America의 많은 사람들은 여전히 그 비용을 지불한다고 합니다. 음... "성적 관심"의 원동력은 여전히 놀라운 것 같습니다.

비디오 콘텐츠를 위한 얼굴 변환 기술의 미래

기술로 비용을 절감할 수 있다면 얼굴을 바꾸는 마술사 AI는 큰 도움이 될 것입니다. 포르노 산업이 발전을 주도하고 있지만, 포르노 산업은 포르노 회사가 돈을 버는 도구에 불과한 것은 아닙니다.

처음에 언급한 영화와 TV 캐릭터 대체 외에도, DeepFakes는 회고록이나 다큐멘터리를 녹화하는 데에도 역할을 할 수 있습니다. 이 기술은 사진 정보를 활용해 사망한 사람의 모습을 복원하는데, 이는 특수효과나 메이크업 아티스트로는 불가능한 작업입니다.

광고업계에서도 사용할 수 있다는 기사도 있고, 유명인이 지루한 광고를 허가하는 데 사용할 수도 있다고 합니다.

물론, 이러한 애플리케이션을 실제로 활용하기 전에 침해, 개인정보 보호, 보안, 남용 등 하나하나 해결해야 할 문제가 많이 있습니다.

그렇다면 질문은, 얼굴을 바꿀 수 있다면 누가 되고 싶은가?