2달 전

메가픽셀에서의 원샷 얼굴 교체

Zhu, Yuhao ; Li, Qi ; Wang, Jian ; Xu, Chengzhong ; Sun, Zhenan
메가픽셀에서의 원샷 얼굴 교체
초록

얼굴 교환이 엔터테인먼트, 인간-컴퓨터 상호작용 등 긍정적인 응용 분야와 정치, 경제 등에 대한 딥페이크(DeepFake) 위협과 같은 부정적인 응용 분야를 모두 가지고 있습니다. 그럼에도 불구하고, 고품질 얼굴 교환을 위한 고급 방법의 체계를 이해하고 충분하며 대표적인 얼굴 교환 이미지를 생성하여 딥페이크 검출 알고리즘을 훈련시키는 것이 필요합니다. 본 논문에서는 처음으로 메가픽셀 수준의 단일 샷 얼굴 교환 방법(이하 MegaFS로 약칭)을 제안합니다.첫째, MegaFS는 기존의 얼굴 교환 방법에서 사용된 압축된 표현이 아닌, 더 많은 얼굴 세부 정보를 유지하기 위해 확장된 잠재 공간에서 제안된 계층적 표현 얼굴 인코더(Hierarchical Representation Face Encoder, HieRFE)를 통해 얼굴 표현을 계층적으로 구성합니다. 둘째, 신중하게 설계된 얼굴 전송 모듈(Face Transfer Module, FTM)이 명시적인 특성 분리를 없애고 비선형 경로를 통해 소스 이미지에서 대상 이미지로 신원(identity)을 전송하도록 제안됩니다. 셋째, StyleGAN2의 훈련 안정성과 강력한 생성 능력을 활용하여 교환된 얼굴들을 합성할 수 있습니다.MegaFS의 각 부분은 별도로 훈련될 수 있으므로 메가픽셀 수준의 얼굴 교환에 필요한 GPU 메모리 요구사항을 충족시킬 수 있습니다. 요약하자면, 완전한 얼굴 표현, 안정적인 훈련 및 제한된 메모리 사용은 우리 방법의 성공을 위한 세 가지 혁신적인 기여입니다. 광범위한 실험 결과들은 MegaFS의 우수성을 입증하였으며, 공개 영역에서 딥페이크 검출 및 얼굴 이미지 편집 연구를 위해 최초로 메가픽셀 수준의 얼굴 교환 데이터베이스가 제공되었습니다. 데이터셋은 다음 링크에서 확인할 수 있습니다.