초록
3D 변형 가능 모델(3DMM)은 주성분 분석(PCA) 기반의 통계적 모델로, 선형 기저 함수를 사용하여 3D 얼굴을 표현하며, 단일 뷰 자연 환경 이미지에서 3D 얼굴을 재구성하는 데 유망한 결과를 보여주었습니다. 그러나 3DMM은 제한된 수의 3D 스캔과 전역적인 선형 기저 때문에 표현 능력이 제약되어 있습니다. 이러한 3DMM의 한계를 해결하기 위해, 우리는 처음으로 자유 형상 변형(FFD)을 통해 3D 얼굴 메시를 재구성하는 간단한 학습 기반 방법을 제안합니다. FFD는 평행육면체 격자 내에 참조 메시를 포함시키고, 격자의 희소 제어점들을 이동하여 메시를 변형하는 기하학적 모델링 방법입니다. FFD가 수학적으로 정의된 기저 함수를 기반으로 하기 때문에, 표현 능력에 대한 제한이 없습니다. 따라서, 제어점들의 적절한 편차를 변형 매개변수로 추정함으로써 정확한 3D 얼굴 메시를 복원할 수 있습니다. 3DMM와 FFD 모두 매개변수 모델이지만, 3DMM 매개변수의 얼굴 형태에 미치는 영향을 예측하기는 어렵습니다. 반면, FFD의 변형 매개변수들은 최종 메시 형태에 미치는 영향 측면에서 해석 가능합니다. 이 실용적인 장점 덕분에 FFD는 일반 사용자가 널리 사용되는 3D 소프트웨어 도구를 사용하여 메시를 세부 조정할 수 있는 좋은 출발점을 제공합니다. 여러 데이터셋에서 수행된 실험은 우리의 방법이 2D 얼굴 이미지에서 3D 얼굴 구조와 표정을 성공적으로 추정하며, 최신 방법들과 비교 가능한 성능을 달성함을 보여줍니다.