Position Map Regression Network을 이용한 3D 얼굴 재구성 및 밀도 높은 정렬의 동시 수행

우리는 3D 얼굴 구조를 재구성하고 동시에 밀도 높은 정렬을 제공하는 간단한 방법을 제안합니다. 이를 위해 UV 공간에서 완전한 얼굴의 3D 형태를 기록하는 2D 표현인 UV 위치 맵(UV position map)을 설계하였습니다. 그런 다음 단일 2D 이미지에서 이를 회귀하기 위한 간단한 합성곱 신경망(Convolutional Neural Network)을 훈련시켰습니다. 또한 훈련 중 손실 함수에 가중치 마스크(weight mask)를 통합하여 네트워크의 성능을 개선하였습니다. 우리의 방법은 어떠한 사전 얼굴 모델에도 의존하지 않으며, 의미론적 의미와 함께 전체적인 얼굴 기하학을 재구성할 수 있습니다. 한편, 우리의 네트워크는 매우 경량화되어 있으며 이미지를 처리하는 데 단 9.8밀리초가 소요되므로 이전 연구보다 극히 빠릅니다. 여러 어려운 데이터셋에 대한 실험 결과, 우리의 방법이 재구성과 정렬 작업 모두에서 다른 최신 방법들을 크게 능가함을 보여주었습니다.