비지도 학습을 이용한 3D 변형 모델 회귀

우리는 라벨이 붙지 않은 사진만을 사용하여 이미지 픽셀에서 3D 변형 가능 모델 좌표로 회귀 네트워크를 훈련시키는 방법을 제시합니다. 훈련 손실은 예측된 얼굴을 미분 가능한 렌더러를 통해 렌더링하여 실시간으로 계산된 얼굴 인식 네트워크의 특징에 기반합니다. 이러한 특징을 사용한 훈련이 가능하도록 하고 네트워크를 속이는 효과를 피하기 위해, 우리는 세 가지 목적함수를 도입합니다: 출력 분포가 변형 가능 모델의 분포와 일치하도록 유도하는 배치 분포 손실, 네트워크가 자신의 출력을 올바르게 재해석할 수 있도록 보장하는 루프백 손실, 그리고 여러 시점에서 예측된 3D 얼굴과 입력 사진의 특징을 비교하는 다중 시점 동일성 손실입니다. 우리는 이러한 목적함수, 라벨이 붙지 않은 사진 집합, 그리고 변형 가능 모델 자체를 사용하여 회귀 네트워크를 훈련시키고 최신 연구 결과를 입증합니다.