HiFace: 정적 및 동적 세부 정보 학습을 통한 고해상도 3D 얼굴 재구성

3D 모형화 모델(3D Morphable Models, 3DMMs)은 단일 이미지로부터 사실적이고 애니메이션 가능한 3D 얼굴 표면을 재구성하는 데 큰 잠재력을 보여주고 있다. 얼굴 표면은 거시적 형태뿐 아니라 정적 세부 정보(예: 개인 고유의 외형)와 동적 세부 정보(예: 표정에 따라 변화하는 주름)의 영향을 받는다. 기존의 연구들은 이미지 수준의 감독을 통해 정적 세부 정보와 동적 세부 정보를 명확히 분리하는 데 어려움을 겪어, 현실감이 떨어지는 재구성 결과를 초래했다. 본 논문에서는 고해상도의 3D 얼굴 재구성에 초점을 맞추고, 정적 세부 정보와 동적 세부 정보를 명시적으로 모델링하는 HiFace를 제안한다. 구체적으로, 정적 세부 정보는 이동 기저(base)의 선형 조합으로 모델링하고, 동적 세부 정보는 극성화된 표정을 가진 두 개의 이동 지도( displacement maps) 간의 선형 보간으로 표현한다. 합성 데이터셋과 실세계 데이터셋을 동시에 활용하여 거시적 형태와 세부 정보를 공동으로 학습할 수 있도록 여러 손실 함수를 도입함으로써, HiFace는 애니메이션 가능한 세부 정보를 갖춘 고해상도 3D 형태를 재구성할 수 있다. 광범위한 정량적 및 정성적 실험을 통해 HiFace가 최신 기술 수준의 재구성 품질을 제공하며, 정적 및 동적 세부 정보를 정확히 복원함을 입증하였다. 본 연구의 프로젝트 페이지는 다음 링크에서 확인할 수 있다: https://project-hiface.github.io.