HifiFace: 3D 형태 및 의미적 사전 지식을 기반으로 한 고해상도 얼굴 교체

본 연구에서는 원본 얼굴의 얼굴 형태를 잘 보존하면서 사진 수준의 사실감 있는 결과를 생성할 수 있는 고정밀 얼굴 교체 방법인 HifiFace를 제안한다. 기존의 얼굴 교체 기법들이 정체성 유사성을 유지하기 위해 단지 얼굴 인식 모델을 사용하는 것과 달리, 본 연구에서는 3DMM(3D 얼굴 모델) 및 3D 얼굴 재구성 기법을 통해 기하학적 지도를 제공하는 3D 형태 인식 정체성(3D shape-aware identity)을 제안하여 얼굴 형태를 정밀하게 제어한다. 또한, 인코더와 디코더 특징 간의 조합을 최적화하고 적응형 블렌딩을 수행하는 의미론적 얼굴 융합(Semantic Facial Fusion) 모듈을 도입함으로써 결과물의 사실감을 더욱 향상시켰다. 자연 상태의 얼굴을 대상으로 수행한 광범위한 실험을 통해 제안한 방법이 기존 최고 수준의 기법들보다 더 우수한 정체성 보존 능력을 보이며, 특히 얼굴 형태 측면에서 뛰어난 성능을 발휘하고, 더 사실감 있는 결과를 생성함을 입증하였다.