Modèles morphables de visages 3D « In-the-Wild »

Les modèles morphables 3D (3DMMs) sont des modèles statistiques puissants de la forme et de la texture faciales en trois dimensions, et font partie des méthodes les plus avancées pour reconstruire la forme du visage à partir d'images uniques. Avec l'émergence de nouveaux capteurs 3D, de nombreux jeux de données faciaux 3D ont été collectés, contenant à la fois des visages neutres et expressifs. Cependant, tous ces jeux de données sont capturés dans des conditions contrôlées. Par conséquent, bien que des modèles statistiques puissants de la forme faciale en 3D puissent être appris à partir de ces données, il est difficile de construire des modèles statistiques de texture suffisamment robustes pour reconstruire des visages capturés dans des conditions non contrôlées (« in-the-wild »).Dans cet article, nous proposons le premier modèle 3DMM « in-the-wild », selon nos connaissances, en combinant un modèle statistique puissant de la forme faciale, qui décrit à la fois l'identité et l'expression, avec un modèle de texture « in-the-wild ». Nous montrons que l'utilisation d'un tel modèle de texture « in-the-wild » simplifie considérablement la procédure d'ajustement, car il n'est pas nécessaire d'optimiser par rapport aux paramètres d'éclairage. De plus, nous proposons un nouvel algorithme rapide pour ajuster le 3DMM dans des images quelconques. Enfin, nous avons capturé la première base de données faciales 3D avec des conditions relativement non contrôlées et présentons des évaluations quantitatives avec une performance au niveau de l'état de l'art. Des résultats qualitatifs complémentaires de reconstruction sont démontrés sur des bases de données faciales standards « in-the-wild ». Une implémentation open source de notre technique est publiée dans le cadre du projet Menpo.