Modèle 3D non linéaire morphable de visage

En tant que modèle statistique classique de la forme et de la texture faciales en 3D, le modèle morphable 3D (3DMM) est largement utilisé dans l'analyse faciale, par exemple pour l'ajustement de modèles et la synthèse d'images. Le 3DMM conventionnel est appris à partir d'un ensemble d'images faciales 2D bien contrôlées, associées à des scans faciaux 3D, et représenté par deux ensembles de fonctions de base PCA. En raison du type et de la quantité de données d'entraînement, ainsi que des bases linéaires, la puissance de représentation du 3DMM peut être limitée. Pour résoudre ces problèmes, cet article propose un cadre innovant permettant d'apprendre un modèle 3DMM non linéaire à partir d'un grand ensemble d'images faciales non contraintes, sans recueillir de scans faciaux 3D. Plus précisément, étant donné une image faciale en entrée, un encodeur réseau estime les paramètres de projection, de forme et de texture. Deux décodeurs servent alors de modèle 3DMM non linéaire pour mapper respectivement les paramètres de forme et de texture vers la forme et la texture en 3D. Avec le paramètre de projection, la forme 3D et la texture, une nouvelle couche de rendu différentiable analytiquement est conçue pour reconstruire l'image faciale d'entrée originale. Le réseau entier est entraînable bout à bout avec une supervision faible uniquement. Nous démontrons la supériorité de notre modèle 3DMM non linéaire par rapport à son homologue linéaire en termes de puissance de représentation, ainsi que sa contribution à l'alignement facial et à la reconstruction 3D.