Apprentissage adversaire par volume sémantique pour la régression de forme faciale 2D/3D dans des conditions naturelles

Les méthodes basées sur la régression ont révolutionné la localisation des points repères 2D grâce à l’exploitation des réseaux neuronaux profonds et de grands jeux de données annotés recueillis dans des scénarios réels. Toutefois, la localisation des points repères 3D demeure un défi majeur en raison du manque de jeux de données annotés et de l’ambiguïté inhérente aux points repères sous perspective 3D. Ce papier reprend l’étude des méthodes basées sur la régression et propose un cadre de régression adversaire sur voxels et coordonnées pour la localisation des points repères faciaux 2D et 3D dans des scénarios du monde réel. Premièrement, une représentation volumétrique sémantique est introduite afin de coder la probabilité par voxel que cette position corresponde à un point repère 3D. Ensuite, un pipeline end-to-end est conçu pour régresser simultanément la représentation volumétrique proposée et le vecteur de coordonnées. Ce pipeline améliore non seulement la robustesse et la précision des prédictions, mais unifie également la localisation des points repères 2D et 3D, permettant ainsi l’utilisation conjointe des jeux de données 2D et 3D. Par ailleurs, une stratégie d’apprentissage adversaire est exploitée pour transférer les structures 3D apprises à partir de jeux de données synthétiques vers des jeux de données du monde réel dans un cadre faiblement supervisé ; pour cela, un discriminateur de régression auxiliaire est proposé afin d’encourager le réseau à produire des prédictions plausibles tant pour les images synthétiques que pour les images réelles. L’efficacité de notre méthode est validée sur les jeux de données de référence 3DFAW et AFLW2000-3D pour les tâches de localisation des points repères faciaux 2D et 3D. Les résultats expérimentaux montrent que la méthode proposée atteint des améliorations significatives par rapport aux méthodes de l’état de l’art précédentes.