Vers des modèles 3D faciaux génératifs réalistes

Ces dernières années, des progrès significatifs ont été réalisés dans le domaine des modèles génératifs 2D de visages, stimulés par des applications telles que l’animation, la génération de données synthétiques et les avatars numériques. Toutefois, en raison de l’absence d’informations 3D, ces modèles 2D peinent souvent à décomposer précisément des attributs faciaux tels que la pose, l’expression ou l’éclairage, ce qui limite leurs capacités d’édition. Pour surmonter cette limitation, cette étude propose un modèle génératif facial contrôlable en 3D, capable de produire des cartes d’albédo de haute qualité ainsi qu’une forme 3D précise, en s’appuyant sur des modèles génératifs 2D existants. En combinant des modèles génératifs 2D de visages avec des techniques de manipulation sémantique, cette méthode permet l’édition de visages 3D rendus détaillés. Le cadre proposé utilise une approche d’optimisation par descente alternée sur la forme et l’albédo. Le rendu différentiable est employé pour entraîner des formes et des albédo de haute qualité sans nécessiter de supervision 3D. En outre, cette approche surpasser les méthodes de l’état de l’art (SOTA) sur le benchmark bien connu NoW pour la reconstruction de forme. Elle dépasse également les modèles de reconstruction SOTA dans la récupération des identités de visages rendus sous de nouvelles poses, avec une amélioration moyenne de 10 %. Enfin, l’étude démontre un contrôle direct des expressions sur les visages 3D grâce à l’exploitation de l’espace latent, permettant ainsi une édition basée sur le texte des visages 3D.