Apprentissage d'un modèle de forme et d'expression faciale à partir de scans 4D

Le domaine de la modélisation 3D du visage présente un écart important entre les méthodes de haut de gamme et celles de bas de gamme. Aux extrêmes supérieurs, l'animation faciale la plus performante est indiscernable de celle d'un humain réel, mais elle exige un travail manuel considérable. Aux extrêmes inférieurs, la capture du visage à partir de capteurs de profondeur grand public repose sur des modèles 3D faciaux insuffisamment expressifs pour capter la variabilité naturelle des formes et expressions faciales. Nous cherchons un compromis en apprenant un modèle facial à partir de milliers de scans 3D précisément alignés. Notre modèle FLAME (Faces Learned with an Articulated Model and Expressions) a été conçu pour fonctionner avec les logiciels graphiques existants et pour être facilement ajusté aux données. FLAME utilise un espace linéaire de forme entraîné à partir de 3 800 scans de têtes humaines. Il combine cet espace de forme linéaire avec un mécanisme articulé comprenant menton, cou et yeux, des blendshapes correctives dépendantes de la posture, ainsi que des blendshapes d'expression globales supplémentaires. Les articulations dépendantes de la posture et de l'expression sont apprises à partir de séquences 4D du jeu de données D3DFACS, ainsi que d'autres séquences 4D supplémentaires. Nous avons réalisé un alignement précis d'une maillage de référence aux séquences de scans, et mettons ces alignements D3DFACS à disposition pour des fins de recherche. En tout, le modèle est entraîné à partir de plus de 33 000 scans. FLAME est à faible dimensionnalité, mais plus expressif que les modèles FaceWarehouse et Basel Face Model. Nous comparons FLAME à ces modèles en les ajustant à des scans 3D statiques et à des séquences 4D, en utilisant la même méthode d'optimisation. FLAME se révèle significativement plus précis, et est disponible pour la recherche.