3DMM와 3D 랜드마크의 시너지 효과를 통한 정확한 3D 얼굴 기하 구조 재현

본 연구는 3D 변형 모델(3DMM)과 3D 얼굴 랜드마크의 시너지 과정을 통해 완전한 3D 얼굴 기하학을 예측하는 방법을 살펴봅니다. 이는 3D 얼굴 정렬, 얼굴 방향, 그리고 3D 얼굴 모델링을 포함합니다. 우리의 시너지 과정은 3DMM 매개변수와 3D 랜드마크 간의 표현 주기를 활용합니다. 3DMM 매개변수로 구축된 얼굴 메시에서 3D 랜드마크를 추출하고 정제할 수 있습니다. 다음으로, 표현 방향을 역으로 전환하여 희소한 3D 랜드마크로부터 3DMM 매개변수를 예측함으로써 정보 흐름이 개선되는 것을 보여줍니다. 이를 통해 우리는 3D 랜드마크와 3DMM 매개변수 간의 관계를 활용하는 시너지 과정을 만들었으며, 이들이 협력하여 더 우수한 성능을 제공합니다. 우리는 다양한 시나리오에서 이러한 작업들의 완전한 태스크에 대해 우리의 기여가 우월하고 안정적인 성능을 보이는 것을 철저히 검증하였습니다. 특히, 단순하고 널리 사용되는 네트워크 연산만을 사용하여 빠르고 정확한 얼굴 기하학 예측을 달성하였습니다.코드 및 데이터: https://choyingw.github.io/works/SynergyNet/