초록
3D 얼굴 형태와 질감의 고전적인 통계 모델로서, 3D 변형 가능 모델(3DMM)은 얼굴 분석에서 널리 사용되고 있습니다. 예를 들어, 모델 피팅 및 이미지 합성 등에 활용됩니다. 기존의 3DMM은 제어된 조건 하에서 촬영된 2D 얼굴 이미지와 연관된 3D 얼굴 스캔 데이터 세트로부터 학습되며, 두 개의 주성분 분석(PCA) 기저 함수 세트로 표현됩니다. 그러나 훈련 데이터의 유형과 양, 그리고 선형 기저 때문에 3DMM의 표현 능력이 제한될 수 있습니다. 이러한 문제들을 해결하기 위해, 본 논문에서는 제약 없는 대규모 얼굴 이미지 세트로부터 비선형 3DMM 모델을 학습하는 혁신적인 프레임워크를 제안합니다. 이 과정에서 3D 얼굴 스캔 데이터를 수집하지 않습니다.특히, 입력으로 주어진 얼굴 이미지를 받아 네트워크 인코더는 투사, 형태 및 질감 매개변수를 추정합니다. 두 개의 디코더는 각각 형태와 질감 매개변수로부터 3D 형태와 질감을 매핑하는 비선형 3DMM 역할을 합니다. 투사 매개변수, 3D 형태 및 질감을 이용하여 새로운 해석적으로 미분 가능한 렌더링 레이어가 설계되어 원래 입력 얼굴을 재구성합니다. 전체 네트워크는 약한 감독만으로도 단일 연결(end-to-end)로 학습 가능합니다.우리는 제안한 비선형 3DMM이 선형 대응체보다 우월한 표현 능력을 가지고 있으며, 이를 통해 얼굴 정렬과 3D 재구성에 기여함을 입증하였습니다.