자기지도형 단안 3차원 얼굴 재구성: 차폐 인식 다중 시점 기하학 일관성 기반

최근의 학습 기반 접근 방식은 단일 시점 이미지를 활용하여 모델을 훈련함으로써 단안 3차원 얼굴 재구성에서 유망한 결과를 보여주고 있으나, 얼굴 자세와 깊이에 대한 불량 설정 문제(ill-posed face pose and depth ambiguity issue)에 취약하다. 기존의 2차원 특징 제약만을 적용하는 연구들과 달리, 본 연구에서는 다중 시점 기하학적 일관성(multi-view geometry consistency)을 활용한 자기지도 학습(self-supervised learning) 아키텍처를 제안한다. 이는 얼굴 자세 및 깊이 추정에 신뢰할 수 있는 제약 조건을 제공한다. 먼저, 가려짐(occlusion)을 고려한 시점 합성(view synthesis) 방법을 제안하여 다중 시점 기하학적 일관성을 자기지도 학습에 적용한다. 이후, 다중 시점 일관성에 기반한 세 가지 새로운 손실 함수를 설계한다. 이는 픽셀 일관성 손실(pixel consistency loss), 깊이 일관성 손실(depth consistency loss), 그리고 얼굴 랜드마크 기반의 에피폴라 손실(epipolar loss)이다. 제안한 방법은 특히 표정, 자세, 조명 조건의 큰 변화에 대해 정확하고 강건함을 보여준다. 얼굴 정렬 및 3차원 얼굴 재구성 벤치마크에서 실시한 포괄적인 실험 결과, 최신 기술 대비 우수한 성능을 입증하였다. 본 연구의 코드와 모델은 https://github.com/jiaxiangshang/MGCNet 에 공개되어 있다.