Convolutional Mesh Autoencoders를 사용한 3D 얼굴 생성

인간 얼굴의 학습된 3D 표현은 이미지에서의 3D 얼굴 추적 및 재구성과 같은 컴퓨터 비전 문제뿐만 아니라 캐릭터 생성 및 애니메이션과 같은 그래픽 응용 분야에서도 유용합니다. 전통적인 모델들은 선형 부분 공간 또는 고차 텐서 일반화를 사용하여 얼굴의 잠재 표현을 학습합니다. 이러한 선형성 때문에 극단적인 변형과 비선형 표현을 포착할 수 없습니다. 이를 해결하기 위해, 우리는 메시 표면에서 스펙트럼 컨볼루션을 사용하여 얼굴의 비선형 표현을 학습하는 다목적 모델을 소개합니다. 또한, 우리는 여러 스케일에서 모델 내부에서 형태와 표현의 비선형 변동성을 포착할 수 있는 계층적 메시 표현을 가능하게 하는 메시 샘플링 연산을 제안합니다. 변분 설정에서, 우리의 모델은 다변량 가우스 분포로부터 다양한 실제적인 3D 얼굴들을 샘플링합니다. 우리의 학습 데이터는 12명의 피실험자로부터 캡처된 20,466개의 극단적인 표현 메시로 구성됩니다. 제한된 학습 데이터에도 불구하고, 우리의 훈련된 모델은 재구성 오류가 50% 낮으면서도 75% 적은 매개변수를 사용하여 최신 얼굴 모델들보다 우수한 성능을 보입니다. 또한, 기존 최신 얼굴 모델의 표현 공간을 우리의 오토인코더로 대체하면 더 낮은 재구성 오류를 달성할 수 있음을 보여주었습니다. 우리의 데이터, 모델 및 코드는 http://github.com/anuragranj/coma 에서 확인할 수 있습니다.