Command Palette
Search for a command to run...
Génération de visages 3D à l'aide d'autoencodeurs de maillage convolutionnels
Génération de visages 3D à l'aide d'autoencodeurs de maillage convolutionnels
Anurag Ranjan Timo Bolkart Soubhik Sanyal Michael J. Black
Résumé
Les représentations 3D apprises des visages humains sont utiles pour les problèmes de vision par ordinateur tels que le suivi et la reconstruction 3D des visages à partir d'images, ainsi que pour les applications graphiques telles que la génération et l'animation de personnages. Les modèles traditionnels apprennent une représentation latente d'un visage en utilisant des sous-espaces linéaires ou des généralisations de tenseurs d'ordre supérieur. En raison de cette linéarité, ils ne peuvent pas capturer les déformations extrêmes et les expressions non-linéaires. Pour remédier à cela, nous introduisons un modèle polyvalent qui apprend une représentation non-linéaire d'un visage en utilisant des convolutions spectrales sur une surface maillée. Nous présentons également des opérations d'échantillonnage de maillage qui permettent une représentation hiérarchique du maillage, capable de capturer les variations non-linéaires de forme et d'expression à plusieurs échelles au sein du modèle. Dans un cadre variationnel, notre modèle échantillonne des visages 3D réalistes et diversifiés à partir d'une distribution gaussienne multivariée. Nos données d'entraînement comprennent 20 466 maillages d'expressions extrêmes capturés sur 12 sujets différents. Malgré la limitation des données d'entraînement, notre modèle formé surpasse les modèles faciaux de pointe avec une erreur de reconstruction inférieure de 50 %, tout en utilisant 75 % moins de paramètres. Nous montrons également que le remplacement de l'espace d'expression d'un modèle facial existant de pointe par notre autoencodeur permet d'obtenir une erreur de reconstruction plus faible. Nos données, notre modèle et notre code sont disponibles à l'adresse http://github.com/anuragranj/coma.