Vers une alignment dense du visage 3D rapide, précise et stable

Les méthodes actuelles d'alignement dense 3D du visage se concentrent principalement sur la précision, ce qui limite leur champ d'application pratique. Dans cet article, nous proposons un nouveau cadre de régression nommé 3DDFA-V2, qui établit un équilibre entre la vitesse, la précision et la stabilité. Premièrement, en s'appuyant sur une architecture légère, nous introduisons une stratégie d'optimisation jointe métiers pour régresser dynamiquement un petit ensemble de paramètres 3DMM (3D Morphable Model), ce qui améliore considérablement la vitesse et la précision simultanément. Pour améliorer davantage la stabilité dans les vidéos, nous présentons une méthode de synthèse virtuelle permettant de transformer une image fixe en une courte vidéo intégrant des mouvements du visage à l'intérieur et à l'extérieur du plan. Sous réserve d'une haute précision et stabilité, 3DDFA-V2 fonctionne à plus de 50 images par seconde sur un seul cœur CPU et surpassent simultanément d'autres modèles avancés et lourds. Des expériences menées sur plusieurs jeux de données difficiles ont validé l'efficacité de notre méthode. Les modèles pré-entraînés et le code sont disponibles à l'adresse suivante : https://github.com/cleardusk/3DDFA_V2.