깊은 신경망을 이용한 강건하고 차별적인 3D 변형 모델의 회귀

얼굴의 3D 형태가 차별화된 특성을 가지고 있다는 것은 잘 알려져 있습니다. 그러나 이에 불구하고, 얼굴 인식에서 이러한 3D 형태는 거의 사용되지 않으며 항상 제어된 시청 조건 하에서만 활용됩니다. 우리는 이 현상이 단일 뷰 3D 얼굴 재구성 방법에 존재하는 심각하지만 종종 간과되는 문제의 증상이라고 주장합니다: "야외" 환경에서 적용될 때, 동일한 주제의 다른 사진들에 대해 3D 추정치가 불안정하게 변하거나 과도하게 일반화되어 과규제(over-regularized)되는 경우가 많습니다. 이를 해결하기 위해, 차별화된 3D 변형 가능한 얼굴 모델(3DMM)을 회귀(regression)하는 강건한 방법을 설명합니다. 입력 사진으로부터 직접 3DMM 형태와 텍스처 매개변수를 회귀하기 위해 합성곱 신경망(CNN)을 사용합니다. 이 목적을 달성하기 위한 훈련 데이터 부족 문제를 극복하기 위해, 대량의 라벨된 예시를 생성할 수 있는 방법을 제공합니다. 우리의 CNN이 생성한 3D 추정치는 MICC 데이터 세트에서 최신 기술보다 뛰어난 정확도를 보입니다. 3D-3D 얼굴 매칭 파이프라인과 결합하여, LFW, YTF 및 IJB-A 벤치마크에서 3D 얼굴 형태를 표현으로 사용하여 처음으로 경쟁력 있는 얼굴 인식 결과를 보여주었습니다. 이는 다른 현대 시스템들이 사용하는 불투명한 딥 피처 벡터 대신에 이러한 결과를 도출하였습니다.