3D 얼굴 재구성에 있어서 얼굴 부위 분할의 기하학적 안내

3D 변형 모델(3DMMs)은 다양한 응용 분야에서 유망한 3D 얼굴 재구성을 제공합니다. 그러나 기존 방법들은 감독 신호의 부족, 예를 들어 희소하거나 정확하지 않은 랜드마크 때문에 극단적인 표정을 가진 얼굴을 재구성하는 데 어려움을 겪고 있습니다. 분할 정보는 얼굴 재구성을 위한 효과적인 기하학적 맥락을 포함하고 있습니다. 일부 시도들은 직관적으로 분할과 재구성된 실루엣을 비교하기 위해 미분 가능한 렌더러를 사용하지만, 이는 국소 최적해와 그래디언트 불안정성 등의 문제에 취약합니다.본 논문에서는 파트 재투영 거리 손실(Part Re-projection Distance Loss, PRDL)을 도입하여 얼굴 부분 분할 기하학을 완전히 활용합니다. 구체적으로, PRDL은 얼굴 부분 분할을 2D 점으로 변환하고 재구성을 이미지 평면으로 다시 투영합니다. 이후 그리드 앵커를 도입하고 이러한 앵커에서 점 집합까지의 다양한 통계적 거리를 계산하여, PRDL은 기하학적 설명자를 설정하여 얼굴 재구성을 위한 점 집합의 분포를 최적화합니다. PRDL은 렌더러 기반 방법들에 비해 명확한 그래디언트를 보이며, 광범위한 정량적 및 정성적 실험에서 최상의 재구성 성능을 나타냅니다. 본 프로젝트는 https://github.com/wang-zidu/3DDFA-V3 에서 이용 가능합니다.