단일 시점 3D 얼굴 재구성용 감지형태 손실 함수

단안 3D 얼굴 재구성은 널리 연구되는 주제이며, 기존 접근 방식들은 빠른 신경망 추론을 통해 또는 얼굴 기하학의 오프라인 반복 재구성을 통해 이 문제를 해결합니다. 어느 경우든 정교하게 설계된 에너지 함수가 최소화되며, 일반적으로 광도 손실(photometric loss), 랜드마크 재투영 손실(landmark reprojection loss) 등을 포함합니다. 본 연구에서는 특정 이미지가 주어졌을 때 인간이 3D 얼굴 재구성의 품질을 어떻게 인식하는지를 참고로 하여 단안 얼굴 캡처를 위한 새로운 손실 함수를 제안합니다. 인간 시각 체계에서 그림자(shading)는 3D 형태에 대한 강력한 지표임이 널리 알려져 있습니다. 따라서, 우리의 새로운 '감각적' 형태 손실(perceptual shape loss)은 입력된 얼굴 이미지와 기하학 추정치의 그림자 렌더링을 받아, 그림자 렌더링이 주어진 이미지와 얼마나 잘 일치하는지를 감각적으로 평가하는 점수를 예측하는 판별기(discriminator)-스타일 신경망으로 구현됩니다. 이 '평가자(critic)' 네트워크는 알베도(albedo)나 장면 조명(illumination) 추정치 없이 RGB 이미지와 기하학 렌더링만을 사용하여 작동합니다. 또한, 우리의 손실 함수는 완전히 이미지 공간에서 작동하므로 메시 위상(mesh topology)에 무관합니다. 우리는 새로운 감각적 형태 손실이 전통적인 에너지 항들과 단안 3D 얼굴 최적화 및 깊은 신경망 회귀(deep neural network regression)와 결합되어 현재 최신 결과보다 개선될 수 있음을 보입니다.