Synergie entre le 3DMM et les marqueurs 3D pour une géométrie faciale 3D précise

Ce travail étudie l'apprentissage issu d'un processus de synergie entre les Modèles Morphables 3D (3DMM) et les repères faciaux 3D pour prédire la géométrie faciale 3D complète, incluant l'alignement 3D, l'orientation du visage et la modélisation faciale 3D. Notre processus de synergie utilise un cycle de représentation pour les paramètres des 3DMM et les repères 3D. Les repères 3D peuvent être extraits et affinés à partir des maillages faciaux construits à l'aide des paramètres des 3DMM. Nous inversons ensuite la direction de la représentation et montrons que prédire les paramètres des 3DMM à partir de repères 3D épars améliore le flux d'information. Ensemble, nous créons un processus de synergie qui exploite la relation entre les repères 3D et les paramètres des 3DMM, contribuant ainsi de manière collaborative à une meilleure performance. Nous validons notre contribution de manière extensive sur l'ensemble des tâches de prédiction de la géométrie faciale et démontrons nos performances supérieures et robustes dans ces tâches pour divers scénarios. En particulier, nous utilisons uniquement des opérations réseau simples et largement répandues pour obtenir une prédiction rapide et précise de la géométrie faciale.Codes et données : https://choyingw.github.io/works/SynergyNet/