Apprentissage de la déformation libre pour la reconstruction 3D du visage à partir d'images dans des conditions réelles

Le modèle morphable 3D (3DMM), qui est un modèle statistique basé sur l'analyse en composantes principales (PCA) représentant un visage 3D à l'aide de fonctions de base linéaires, a montré des résultats prometteurs pour la reconstruction de visages 3D à partir d'images prises dans des conditions naturelles et en une seule vue. Cependant, le 3DMM présente une puissance de représentation limitée en raison du nombre restreint de scans 3D disponibles et de la base linéaire globale utilisée. Pour remédier aux limitations du 3DMM, nous proposons une méthode d'apprentissage simple qui reconstruit un maillage 3D de visage par déformation libre (FFD) pour la première fois. L'FFD est une méthode de modélisation géométrique qui insère un maillage de référence au sein d'une grille parallélépipédique et déforme ce maillage en déplaçant les points de contrôle épars de la grille. Étant donné que l'FFD repose sur des fonctions de base définies mathématiquement, elle n'a aucune limitation en termes de puissance de représentation. Ainsi, nous pouvons récupérer des maillages 3D précis en estimant les écarts appropriés des points de contrôle comme paramètres de déformation. Bien que le 3DMM et l'FFD soient tous deux des modèles paramétriques, il est difficile de prédire l'effet des paramètres du 3DMM sur la forme du visage, tandis que les paramètres de déformation de l'FFD sont interprétables quant à leur influence sur la forme finale du maillage. Ce bénéfice pratique de l'FFD permet au maillage résultant et aux points de contrôle d'être un bon point de départ pour la modélisation 3D du visage, car les utilisateurs ordinaires peuvent affiner le maillage en utilisant des outils logiciels 3D largement disponibles. Les expériences menées sur plusieurs jeux de données montrent comment notre méthode réussit à estimer avec précision la géométrie faciale 3D et les expressions faciales à partir d'images faciales 2D, atteignant des performances comparables aux méthodes les plus avancées actuellement disponibles.