GANFIT : Ajustement de Réseaux de Génération Adversaire pour une Reconstruction 3D de Visage à Haute Fidélité

Ces dernières années, de nombreux travaux ont été consacrés à la reconstruction de la structure faciale 3D à partir d'images uniques en exploitant la puissance des Réseaux Neuronaux Convolutifs Profonds (RNCP). Dans les études les plus récentes, des rendus différentiables ont été utilisés pour apprendre la relation entre les caractéristiques d'identité faciale et les paramètres d'un modèle 3D déformable pour la forme et la texture. Les caractéristiques de texture correspondent soit à des composants d'un espace de texture linéaire, soit sont apprises par des auto-encodeurs directement à partir d'images naturelles. Cependant, dans tous les cas, la qualité de la reconstruction de la texture faciale des méthodes actuelles n'est toujours pas capable de modéliser les textures avec une haute fidélité. Dans cet article, nous adoptons une approche radicalement différente et tirons parti des Réseaux Antagonistes Générateurs (RAG) et des RNCP pour reconstruire la texture et la forme faciales à partir d'images uniques. Plus précisément, nous utilisons les RAG pour former un générateur très puissant de texture faciale dans l'espace UV. Ensuite, nous reprenons les approches classiques d'ajustement des Modèles 3D Déformables (M3DD) en utilisant une optimisation non-linéaire pour trouver les paramètres latents optimaux qui permettent de reconstruire au mieux l'image testée, mais sous un angle nouveau. Nous optimisons ces paramètres sous la supervision de caractéristiques d'identité profondes pré-entraînées grâce à notre cadre différentiable intégral. Nous montrons des résultats excellents en termes de reconstruction faciale 3D photoréaliste et préservant l'identité, et atteignons pour la première fois, selon nos connaissances, une reconstruction de texture faciale avec des détails à haute fréquence.