단일 이미지와 야생 환경의 2D 얼굴 이미지를 활용한 3D 얼굴 재구성

단일 2D 이미지로부터 3D 얼굴 재구성은 다양한 응용 분야를 가진 어려운 문제입니다. 최근의 방법들은 일반적으로 2D 이미지에서 3D 변형 모델(3DMM)의 계수를 회귀하여 3D 얼굴 재구성 또는 밀집 얼굴 정렬을 수행하는 CNN 기반의 3D 얼굴 모델을 학습하는 것을 목표로 합니다. 그러나, 3D 주석이 있는 훈련 데이터의 부족은 이러한 방법들의 성능을 크게 제한하고 있습니다. 이 문제를 완화하기 위해, 우리는 "자연 상태"의 노이즈가 포함된 2D 얼굴 이미지를 효과적으로 활용하여 3D 얼굴 모델 학습을 크게 개선할 수 있는 새로운 2D 보조 자기 지도 학습(2DASL) 방법을 제안합니다. 구체적으로, 희소한 2D 얼굴 랜드마크를 추가 정보로 사용하여, 2DSAL은 2D 랜드마크와 3D 랜드마크 예측을 자기 매핑 과정으로 간주하는 네 가지 새로운 자기 감독 방식을 도입합니다. 이는 2D 및 3D 랜드마크 자기 예측 일관성, 2D 랜드마크 예측에 대한 순환 일관성, 그리고 랜드마크 예측 기반의 예측된 3DMM 계수에 대한 자기 비평(self-critic)을 포함합니다. 이러한 네 가지 자기 감독 방식을 사용함으로써, 2DASL 방법은 전통적인 짝짓기된 2D-to-3D 주석에 대한 요구를 크게 완화시키고, 추가적인 3D 주석 없이도 훨씬 더 고품질의 3D 얼굴 모델을 제공합니다. 여러 어려운 데이터셋에서 수행된 실험 결과는 우리의 방법이 단일 이미지 기반의 3D 얼굴 재구성과 밀집 얼굴 정렬 모두에서 현행 최고 수준의 성능보다 크게 우수하다는 것을 보여줍니다.注释：在“自己批评(self-critic)”这一术语中，由于其在科技文献中的使用频率较低，因此保留了英文原词以确保信息的完整性。其他部分则采用了通用的韩语译法。