HiFace : Reconstruction 3D de haute fidélité du visage en apprenant les détails statiques et dynamiques

Les Modèles Morphables 3D (3DMMs) montrent un grand potentiel pour reconstruire des surfaces faciales 3D fidèles et animables à partir d’une seule image. La surface faciale est influencée par la forme grossière, ainsi que par les détails statiques (par exemple, l’apparence spécifique à une personne) et les détails dynamiques (par exemple, les rides induites par l’expression). Les travaux antérieurs peinent à séparer les détails statiques et dynamiques sous une supervision au niveau de l’image, ce qui conduit à des reconstructions peu réalistes. Dans cet article, nous visons une reconstruction 3D faciale haute fidélité et proposons HiFace, un modèle qui modélise explicitement les détails statiques et dynamiques. Plus précisément, les détails statiques sont représentés comme une combinaison linéaire d’une base de déplacements, tandis que les détails dynamiques sont modélisés par interpolation linéaire entre deux cartes de déplacements associées à des expressions polaires. Nous exploitons plusieurs fonctions de perte pour apprendre conjointement la forme grossière et les détails fins, à l’aide à la fois de jeux de données synthétiques et réels, permettant à HiFace de reconstruire des formes 3D de haute fidélité avec des détails animables. Des expériences quantitatives et qualitatives étendues démontrent que HiFace atteint un niveau d’état de l’art en termes de qualité de reconstruction et restitue fidèlement à la fois les détails statiques et dynamiques. La page du projet est disponible à l’adresse suivante : https://project-hiface.github.io.