SADRNet : Réseaux de régression duale auto-alignés pour une alignment et reconstruction 3D dense robustes des visages

L'alignement dense et la reconstruction faciale tridimensionnelle dans des conditions réelles constituent un problème ardu, car les informations partielles du visage sont souvent manquantes dans les images de visages occlus ou présentant une grande rotation. Les grandes variations de la position de la tête augmentent également l'espace de solutions et rendent la modélisation plus complexe. Notre idée clé est de modéliser l'occlusion et la position pour décomposer cette tâche ardue en plusieurs sous-tâches relativement plus gérables. À cet effet, nous proposons un cadre d'apprentissage end-to-end, appelé Réseau de Régression Faciale Auto-aligné Dual (SADRNet), qui prédit un visage dépendant de la position et un visage indépendant de la position. Ces deux éléments sont combinés par un auto-alignement prenant en compte l'occlusion pour générer le visage 3D final. De nombreuses expériences menées sur deux benchmarks populaires, AFLW2000-3D et Florence, montrent que notre méthode propose des performances nettement supérieures aux méthodes existantes de pointe.