3D 얼굴 변형 모델 "야외에서"

3D 변형 모델(3DMMs)은 3D 얼굴 형태와 질감에 대한 강력한 통계적 모델로, 단일 이미지에서 얼굴 형태를 재구성하는 최신 방법 중 하나입니다. 새로운 3D 센서의 등장으로 중립적인 표정뿐만 아니라 다양한 표정을 포함하는 많은 3D 얼굴 데이터셋이 수집되었습니다. 그러나 모든 데이터셋은 제어된 조건 하에서 캡처되었습니다. 따라서 이러한 데이터로부터 강력한 3D 얼굴 형태 모델을 학습할 수는 있지만, 무제약 조건("in-the-wild")에서 캡처된 얼굴을 충분히 재구성하기 위한 통계적 질감 모델을 구축하는 것은 어렵습니다.본 논문에서는, 최선의 지식 범위 내에서 처음으로 "in-the-wild" 3DMM을 제안합니다. 이 모델은 얼굴 형태와 표현을 모두 설명하는 강력한 통계적 모델과 "in-the-wild" 질감 모델을 결합합니다. 우리는 이러한 "in-the-wild" 질감 모델의 사용이 조명 매개변수에 대한 최적화가 필요하지 않으므로 피팅 절차를 크게 단순화시킨다는 것을 보여줍니다. 또한, 임의의 이미지에서 3DMM을 피팅하기 위한 새로운 빠른 알고리즘을 제안합니다. 마지막으로, 우리는 상대적으로 무제약 조건에서 처음으로 3D 얼굴 데이터베이스를 캡처하였으며, 최신 성능의 정량적 평가 결과를 보고합니다. 표준 "in-the-wild" 얼굴 데이터베이스에서 보완적인 정성적 재구성 결과도 시연하였습니다. 우리의 기술에 대한 오픈 소스 구현은 Menpo 프로젝트의 일부로 공개됩니다.