HyperAI超神经

'유랑지구2'는 개봉 후 단 8일 만에 24억 위안 이상의 수익을 올렸고, 36개의 기록을 깨고 91개의 이정표를 달성했습니다. 그중에서도 21세의 젊은 배우 류페이창(우징 분)과 젊고 잘생긴 두헝위(유덕화 분)는 관객들에게 깊은 인상을 남겼습니다.

The Wandering Earth의 공식 웨이보 계정에 공개된 영상에서는 얼굴을 바꾸는 특수효과의 이면에 있는 복잡한 공학적 어려움을 설명하고 있습니다.

우징: 내 젊고 잘생긴 얼굴에 겁먹지 마
출처: @The Wandering Earth 공식 웨이보

지후에서 "방랑지구 2의 제작 과정에서 알려지지 않은 제작 과제는 무엇인가?"라는 질문을 받은 가운데, "방랑지구 2"의 시각 효과 감독이자 MOREVFX의 창립자인 쉬 지안은 첫 번째 기술적 어려움은 "디에이징"이라고 인정했습니다.

전체 답변

디지털 시대 변화, 45세 우징, 21세 미남으로 변신

디에이징은 영화와 텔레비전 작품에 사용되는 시각 효과 기술입니다. 특정 장면에서 배우를 더 젊어 보이게 하기 위해 디지털 편집이나 컴퓨터 그래픽(CG) 기술을 사용하는 것을 말합니다.

영화 '유랑지구2'에서 우징, 유덕화, 왕지 등 많은 배우가 연기한 캐릭터들은 모두 캐릭터의 회춘, 즉 노화를 다룬다.

AI 모델은 우징의 젊은 시절 2D 영상을 이용해 훈련되어 실제 영상에 맞춰 나이를 낮추고 얼굴을 완전히 바꾸도록 했습니다.

추가 설명: 영화 줄거리에 따르면 류페이창은 2023년에 태어났습니다.

우징을 예로 들어보자. 실제로 우징은 이 영화를 촬영할 당시 이미 45세가 넘었지만(바이두 백과사전에 따르면), 영화 속 2044년의 류페이창은 불과 21세였다. 45세가 넘은 배우가 21세의 "신인"을 연기하는 데 도전하려면 실제로 기술적인 지원이 필요합니다.

3가지 주요 디에이징 방법

사실, 그 당시 세계의 주류를 이루는 디에이징 방법은 크게 세 가지로 나뉘었습니다.

이 방법은 두 가지 주요 단계로 구성됩니다.

디지털 인간을 만들고 노화를 막다

배우가 착용한 표정 캡처 장치를 통해 배우를 스캔하고 데이터베이스를 생성하여 대상 배우의 디지털 인물을 생성합니다. 디지털 인물은 배우의 초기 경력에서 촬영한 사진과 영상 자료를 바탕으로 나이가 어리게 표현됩니다.

배우들이 착용한 모션 캡처 장비를 기반으로 한 디지털 휴먼 애니메이션

'유랑지구2'의 시각효과 감독 쉬젠에 따르면, 이 방법은 예산이 많고, 중국 내에 관련 인재가 부족하며, 신체에 장착하는 장비가 격투 장면 촬영과 배우의 감정 표현에 영향을 미칠 수 있다고 한다.

윌 스미스, 동작 및 표정 포착 장비 착용

영화 "아이리시맨"에서 Industrial Light & Magic은 얼굴에 표시를 하거나 물리적 장비를 착용하지 않고도 노화를 방지하는 기술을 개발했습니다. 배우들은 세 대의 카메라에 둘러싸여 있는데, 한 대는 일반 촬영을 위한 것이고, 나머지 두 대는 디에이징에 필요한 데이터를 녹화하는 데 사용됩니다. 적외선 렌즈를 사용하여 촬영한 영상을 통해 필요한 데이터를 수집하고, 이를 바탕으로 퍼포먼스를 디지털로 재현합니다.

카메라가 기록한 데이터는 조명 효과와 결합되어 캐릭터의 나이를 젊어 보이게 합니다.

영화 "캡틴 아메리카 3: 시빌 워"에서 시각 효과 팀은 로버트 다우니 주니어의 초기 영화 및 TV 작품과 시각 자료를 사용하여 딥페이크 알고리즘을 기반으로 AI 모델을 훈련시키고 얼굴 변형을 완성했습니다.

토니 스타크의 젊은 시절 모습을 딥페이크한 영상

"방랑지구 2"의 시각 효과 감독인 쉬 지안(Xu Jian)에 따르면, 시각 효과 팀은 영화 촬영이 시작되기 1년 반 전부터 기술 실험을 시작했다고 합니다. 시각 효과 팀은 5~6가지 얼굴 변형 방법을 테스트한 후, 마침내 세 번째 디에이징 방법을 채택하기로 결정했습니다. 딥페이크 알고리즘을 기반으로, AI 모델은 배우들이 어렸을 때의 2D 소재로 학습되었습니다. 500만 번 이상의 반복 끝에 실제 소재가 교체되었습니다.

안면 회춘 및 노화에 관한 논문 검토

《시각 효과를 위한 프로덕션 준비 얼굴 리에이징》

디즈니 연구팀은 FRAN(Face Re-Aging Network)을 제안했습니다. 이는 영상 속 얼굴 이미지를 자동으로 재구성하면서도 얼굴의 정체성을 잃지 않고, 대상 얼굴에 젊음이나 노화 효과를 얻을 수 있습니다.

입력된 인물사진 연령은 35세이고, 상단과 하단은 각각 65세와 18세로 재연장됩니다.

"고해상도 얼굴 나이 편집"

본 논문에서는 얼굴 나이 편집을 위한 인코더-디코더 아키텍처를 제안하는데, 이는 간단한 방법을 사용하여 고해상도 얼굴 나이 편집을 구현하고 1024*1024 해상도의 이미지를 출력할 수 있다.

입력된 얼굴(노란색 프레임)을 기반으로 다양한 연령대의 고품질 얼굴 이미지가 출력됩니다.

"스타일의 문제일 뿐: 스타일 기반 회귀 모델을 사용한 연령 변환"

본 논문에서는 노화 변환을 위해 사전 훈련된 무조건 GAN의 잠재 공간에 실제 얼굴 이미지를 직접 인코딩하는 이미지 간 변환 방법을 제안합니다. 피사체의 사진 한 장만으로 모든 연령대의 얼굴 특징을 주름 하나하나까지 정확하게 생성할 수 있습니다.

논문에서 제안한 SAM 아키텍처를 사용하여 생성된 노화 결과

픽셀 수준의 얼굴 변환 기술은 아직 갈 길이 멀고 업계 표준이 필요합니다.

'방랑지구2'에서 젊은 시절의 류페이창과 두헝위의 모습은 딥페이크 알고리즘을 기반으로 표현되었습니다. 하지만 관련 논문을 많이 검토하고 시각효과 감독 쉬젠의 소개를 종합해 보면, 영화 제작 후반부에서는 얼굴 변신 후 캐릭터에 대한 복잡한 개선 및 수리 작업을 하기 위해 전문적인 후반작업 인력이 여전히 필요하다는 것을 알 수 있었습니다.

얼굴변환 기술은 아직 뻣뻣한 표정이나 부자연스러운 눈 표정 등 일부 세부 사항을 처리하는 데 있어 부족한 점이 있기 때문입니다. 이런 "불일치"는 대형 영화 스크린에서 더욱 부각되어 관객에게 불편함을 안겨줄 것은 의심의 여지가 없습니다.

디에이징과 에이징 알고리즘의 개발은 영화와 TV 작품 속 캐릭터와의 "완벽한 각색"을 달성하기 위해 아직 갈 길이 멉니다. 딥페이크 기술의 남용을 모니터링하는 방법 역시 업계, 기술 커뮤니티, 심지어 일반 사용자까지 직면해야 할 잠재적인 위험과 과제입니다. 국내 SF 영화에서 이렇게 훌륭한 장면 디자인과 시각 효과를 볼 수 있다니 정말 기대됩니다. 리틀 브로큰 볼 3편을 기대해요!

참고문헌: [1] https://www.zhihu.com/question/579613527 [2] https://onlinelibrary.wiley.com/doi/full/10.1111/oli.12302 [3] https://www.respeecher.com/blog/de-aging-technology-changing-hollywood-future-film-making

요약: 춘절을 배경으로 한 SF 영화 '유랑지구 2'에서 우징, 유덕화, 사이 등이 주연을 맡은 캐릭터들의 시대적 배경은 14년이다. 시각 효과 팀은 Deepfake 디에이징 기술을 사용하여 배우들의 다양한 연령대 모습을 표현했습니다.
키워드: 디에이징 딥페이크 더 원더링 어스

The Wandering Earth의 공식 웨이보 계정에 공개된 영상에서는 얼굴을 바꾸는 특수효과의 이면에 있는 복잡한 공학적 어려움을 설명하고 있습니다.