야생 이미지에서 애니메이션 가능한 상세한 3D 얼굴 모델 학습

현재의 단일 카메라 3D 얼굴 재구성 방법은 미세한 기하학적 세부 사항을 복원할 수 있지만 여러 제한점을 가지고 있습니다. 일부 방법은 주름이 표정에 따라 어떻게 변하는지를 모델링하지 않기 때문에 실제적으로 애니메이션화할 수 없는 얼굴을 생성합니다. 다른 방법들은 고품질의 얼굴 스캔 데이터로 훈련되어 자연 환경에서 촬영된 이미지에 대해 잘 일반화되지 않습니다. 우리는 개인별로 특정하지만 표정에 따라 변화하는 3D 얼굴 형태와 애니메이션 가능한 세부 사항을 회귀하는 첫 번째 접근 방식을 제시합니다. 우리의 모델, DECA (상세한 표정 캡처 및 애니메이션, Detailed Expression Capture and Animation)는 사람 특유의 세부 매개변수와 일반적인 표정 매개변수로 구성된 저차원 잠재 표현으로부터 UV 변위 맵을 견고하게 생성하도록 훈련되었습니다. 또한 회귀기는 단일 이미지에서 세부, 형태, 알베도, 표정, 자세 및 조명 매개변수를 예측하도록 훈련되었습니다. 이를 가능하게 하기 위해 우리는 사람 특유의 세부 사항과 표정에 의존적인 주름을 분리하는 새로운 세부 일관성 손실(detail-consistency loss)을 소개합니다. 이 분리는 사람이 고유한 세부 사항을 그대로 유지하면서 표정 매개변수를 제어하여 실제적인 사람 특유의 주름을 합성할 수 있게 합니다. DECA는 짝을 이루는 3D 감독 없이 자연 환경에서 촬영된 이미지로 학습되며 두 벤치마크에서 최고 수준의 형태 재구성 정확도를 달성했습니다. 자연 환경 데이터에 대한 정성적 결과는 DECA의 견고함과 신원 및 표정에 의존적인 세부 사항을 분리하여 재구성된 얼굴의 애니메이션화를 가능하게 하는 능력을 보여줍니다. 모델과 코드는 https://deca.is.tue.mpg.de 에서 공개적으로 이용 가능합니다.