정확한 3D 얼굴 재구성: 단일 이미지에서 이미지 세트까지의 약간 지도 학습 방법

최근, 딥 러닝 기반의 3D 얼굴 재구성 방법들이 품질과 효율성 면에서 유망한 결과를 보여주고 있습니다. 그러나 딥 뉴럴 네트워크를 훈련시키는 데는 대량의 데이터가 필요하며, 실제 3D 얼굴 모양을 갖춘 얼굴 이미지는 매우 드뭅니다. 본 논문에서는 1) 저레벨 및 지각 수준 정보를 모두 고려하여 감독하는 강력한 하이브리드 손실 함수를 활용한 약간의 감독(weakly-supervised) 학습, 그리고 2) 다양한 이미지에서 보완적인 정보를 활용하여 형태 집합(shape aggregation)을 수행하는 다중 이미지 얼굴 재구성을 위한 새로운 딥 3D 얼굴 재구성 접근법을 제안합니다. 우리의 방법은 빠르고 정확하며, 가림(occlusion)과 큰 자세 변화(large pose)에 견디는 성능을 보입니다. 우리는 세 개의 데이터셋에서 포괄적인 실험을 수행하였으며, 우리 방법을 최근 15개의 방법들과 체계적으로 비교하여 최신 기술(state-of-the-art) 수준의 성능을 입증하였습니다.