빠르고 정확하며 안정적인 3D 밀도 얼굴 정렬에 대한 연구

기존의 3D 밀도 얼굴 정렬 방법들은 주로 정확성에 집중하여, 이로 인해 실제 응용 범위가 제한되었습니다. 본 논문에서는 속도, 정확성, 안정성 사이의 균형을 이루는 새로운 회귀 프레임워크인 3DDFA-V2를 제안합니다. 첫째, 경량화된 백본을 기반으로 하여, 소수의 3DMM 매개변수를 동적으로 회귀하는 메타-조인트 최적화 전략을 제안합니다. 이는 속도와 정확성을 동시에 크게 향상시킵니다. 둘째, 비디오에서의 안정성을 더욱 개선하기 위해, 평면 내 및 평면 외 얼굴 움직임을 포함하는 짧은 비디오로 한 장의 고정 이미지를 변환하는 가상 합성 방법을 제시합니다. 높은 정확성과 안정성을 유지하면서, 3DDFA-V2는 단일 CPU 코어에서 50fps 이상으로 실행되며 다른 최신 중량 모델들을 동시에 능가합니다. 여러 어려운 데이터셋에 대한 실험 결과 본 방법의 효율성이 검증되었습니다. 사전 학습된 모델과 코드는 https://github.com/cleardusk/3DDFA_V2에서 제공됩니다.