Reconstruction 3D du visage et alignement dense avec un réseau de régression de carte de position

Nous proposons une méthode simple qui reconstruit simultanément la structure faciale en 3D et fournit un alignement dense. Pour y parvenir, nous concevons une représentation 2D appelée carte de position UV, qui enregistre la forme 3D d'un visage complet dans l'espace UV, puis nous formons un réseau neuronal convolutif (CNN) simple pour prédire cette carte à partir d'une seule image 2D. Nous intégrons également un masque de poids dans la fonction de perte lors de l'entraînement afin d'améliorer les performances du réseau. Notre méthode ne repose sur aucun modèle facial préétabli et peut reconstruire la géométrie faciale complète ainsi que sa signification sémantique. Par ailleurs, notre réseau est très léger et ne nécessite que 9,8 ms pour traiter une image, ce qui est extrêmement plus rapide que les travaux précédents. Les expériences menées sur plusieurs jeux de données difficiles montrent que notre méthode dépasse largement les autres méthodes de pointe tant pour la tâche de reconstruction que pour celle d'alignement.