Apprentissage de la régression de la forme et de l'expression du visage 3D à partir d'une image sans supervision 3D

L'estimation de la forme faciale 3D à partir d'une seule image doit être robuste aux variations d'éclairage, de pose de la tête, d'expression, de pilosité faciale, de maquillage et d'occlusions. La robustesse nécessite un grand ensemble d'apprentissage composé d'images naturelles, qui, par définition, ne disposent pas de vérités terrain en 3D. Pour former un réseau sans aucune supervision 2D-3D, nous présentons RingNet, qui apprend à calculer la forme faciale 3D à partir d'une seule image. Notre observation clé est que la forme du visage d'un individu reste constante entre les images, indépendamment de l'expression, de la pose ou de l'éclairage. RingNet exploite plusieurs images d'une même personne et des caractéristiques faciales 2D détectées automatiquement. Il utilise une nouvelle fonction de perte qui encourage la similarité de la forme faciale lorsque l'identité est la même et la différence pour des personnes différentes. Nous obtenons une invariance à l'expression en représentant le visage avec le modèle FLAME. Une fois formée, notre méthode prend une seule image en entrée et produit les paramètres du modèle FLAME, qui peuvent être facilement animés. De plus, nous créons une nouvelle base de données de visages « presque naturels » (Not Quite In-the-Wild - NoW) comprenant des scans 3D du crâne et des images haute résolution des sujets dans une grande variété de conditions. Nous évaluons les méthodes publiques disponibles et constatons que RingNet est plus précis que celles utilisant une supervision 3D. Le jeu de données, le modèle et les résultats sont disponibles à des fins de recherche sur http://ringnet.is.tuebingen.mpg.de.