GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction GANFIT: 고해상도 3D 얼굴 재구성을 위한 생성적 적대 네트워크 피팅

최근 몇 년 동안, 싱글 이미지에서 3차원 얼굴 구조를 재구성하기 위해 딥 컨볼루션 신경망(DCNNs)의 힘을 활용하는 많은 연구가 이루어져 왔습니다. 가장 최근의 연구에서는 미분 가능한 렌더러를 사용하여 얼굴 식별 특징과 형태 및 질감의 3D 변형 모델 매개변수 간의 관계를 학습하였습니다. 질감 특징은 선형 질감 공간의 구성 요소에 해당하거나, 야외 이미지에서 직접 오토인코더를 통해 학습됩니다. 그러나 모든 경우에서 최신 방법들의 얼굴 질감 재구성 품질은 아직도 고해상도로 질감을 모델링할 수 있는 능력을 갖추지 못하고 있습니다. 본 논문에서는 근본적으로 다른 접근 방식을 취하며, 생성적 적대 네트워크(GANs)와 DCNNs의 힘을 활용하여 싱글 이미지에서 얼굴 질감과 형태를 재구성합니다. 즉, GANs를 이용하여 UV 공간에서 매우 강력한 얼굴 질감 생성기를 훈련시킵니다. 그런 다음, 비선형 최적화를 사용하여 테스트 이미지를 가장 잘 재구성하는 최적 잠재 매개변수를 찾는 기존의 3D 변형 모델(3DMMs) 피팅 접근법을 재검토합니다. 이 과정은 사전 훈련된 깊은 식별 특징을 통해 감독되며, 우리의 단일 연결 미분 가능 프레임워크 내에서 수행됩니다. 우리는 사진처럼 실제적인 그리고 식별 정보를 보존하는 3D 얼굴 재구성에 우수한 결과를 보여주며, 최고 주파수 세부 정보까지 포함한 얼굴 질감 재구성을 처음으로 달성하였음을 확인하였습니다(우리가 아는 한).