Reconstruction 3D du visage avec la guidance géométrique de la segmentation des parties faciales

Les modèles morphables 3D (3DMMs) offrent des reconstructions prometteuses de visages en trois dimensions dans diverses applications. Cependant, les méthodes existantes peinent à reconstruire des visages avec des expressions extrêmes en raison de carences dans les signaux de supervision, tels que des repères clairsemés ou inexactes. Les informations de segmentation contiennent des contextes géométriques efficaces pour la reconstruction faciale. Certains essais s'appuient intuitivement sur des rendus différentiables pour comparer les silhouettes rendues de la reconstruction avec la segmentation, ce qui est susceptible de rencontrer des problèmes tels que des optima locaux et une instabilité du gradient. Dans cet article, nous exploitons pleinement la géométrie de la segmentation par parties faciales en introduisant la perte de distance de réprojection par parties (PRDL). Plus précisément, PRDL transforme la segmentation par parties faciales en points 2D et réprojette la reconstruction sur le plan d'image. Ensuite, en introduisant des ancres en grille et en calculant différentes distances statistiques entre ces ancres et les ensembles de points, PRDL établit des descripteurs géométriques pour optimiser la distribution des ensembles de points pour la reconstruction faciale. PRDL présente un gradient clair par rapport aux méthodes basées sur le rendu et offre des performances de reconstruction d'état de l'art dans une série d'expériences quantitatives et qualitatives étendues. Notre projet est disponible à l'adresse suivante : https://github.com/wang-zidu/3DDFA-V3 .