3D 이미지 감독 없이 얼굴 형태와 표정을 회귀하는 방법 학습

단일 이미지에서 3차원 얼굴 모양을 추정하는 것은 조명, 머리 자세, 표정, 수염, 화장, 그리고 가림 현상 등의 변화에 견고해야 합니다. 견고함은 실제 환경에서 촬영된 대규모 훈련 세트를 필요로 하며, 이는 본질적으로 지도용 3차원 모양 정보가 부족합니다. 2D-3D 지도 없이 네트워크를 훈련시키기 위해 우리는 RingNet을 제시합니다. RingNet은 단일 이미지에서 3차원 얼굴 모양을 계산하도록 학습됩니다. 우리의 주요 관찰 결과는 개인의 얼굴 모양이 표정, 자세, 조명 등과 상관없이 모든 이미지에서 일정하다는 것입니다. RingNet은 한 사람의 여러 이미지와 자동으로 감지된 2D 얼굴 특징을 활용합니다. 또한 동일한 신원일 때 얼굴 모양이 유사하게, 다른 사람일 때는 다르게 되도록 하는 새로운 손실 함수를 사용합니다. 우리는 FLAME 모델을 사용하여 얼굴을 표현함으로써 표정에 대한 불변성을 달성하였습니다. 훈련 후, 우리의 방법은 단일 이미지를 입력으로 받아 FLAME의 매개변수를 출력하며, 이는 쉽게 애니메이션화할 수 있습니다. 또한 다양한 조건에서 촬영된 주제들의 3차원 두부 스캔과 고해상도 이미지를 포함하는 새로운 거의 자연 상태(Natural or Wild)(NoW) 얼굴 데이터베이스를 생성하였습니다. 공개된 방법들을 평가한 결과 RingNet은 3차원 지도를 사용하는 방법들보다 더 정확함을 확인하였습니다. 데이터셋, 모델 및 결과는 연구 목적으로 http://ringnet.is.tuebingen.mpg.de에서 제공됩니다.