DSFNet : Réseau de Fusion dans l'Espace Dual pour une Alignment Densitaire 3D Robuste aux Occlusions

La sensibilité aux occlusions sévères et aux grands angles de vue limite les scénarios d'utilisation des méthodes actuelles d'alignement dense 3D monoculaire. La méthode basée sur les modèles 3DMM (3D Morphable Models) de pointe, qui régresse directement les coefficients du modèle, sous-exploite l'information spatiale et sémantique de bas niveau en 2D, qui peut en réalité fournir des indices sur la forme et l'orientation du visage. Dans ce travail, nous démontrons comment la modélisation conjointe de la géométrie faciale 3D dans l'espace image et l'espace modèle peut résoudre les problèmes d'occlusion et d'angles de vue. Au lieu de prédire le visage entier directement, nous régressons d'abord les caractéristiques de l'espace image dans la région faciale visible par une prédiction dense. Ensuite, nous prédisons les coefficients de notre modèle en fonction des caractéristiques régressées des régions visibles, en utilisant les connaissances a priori de la géométrie du visage entier issues des modèles morphables pour compléter les régions invisibles. Nous proposons également un réseau de fusion qui combine les avantages des prédictions dans l'espace image et l'espace modèle pour atteindre une grande robustesse et précision dans des scénarios non contraints. Grâce au module de fusion proposé, notre méthode est non seulement robuste aux occlusions et aux grands angles de tangage (pitch) et de roulis (roll), ce qui est le bénéfice de notre approche dans l'espace image, mais aussi au bruit et aux grands angles de lacet (yaw), ce qui est le bénéfice de notre méthode dans l'espace modèle. Des évaluations exhaustives montrent que notre méthode offre une performance supérieure comparée aux méthodes actuelles. Sur la tâche d'alignement dense 3D du visage, nous obtenons un NME (Normalized Mean Error) de 3,80% sur le jeu de données AFLW2000-3D, surpassant ainsi la méthode actuelle de pointe avec une amélioration de 5,5%. Le code source est disponible à l'adresse suivante : https://github.com/lhyfst/DSFNet.