DAD-3DHeads : Un ensemble de données à grande échelle, dense, précis et diversifié pour l'alignement 3D du visage à partir d'une seule image

Nous présentons DAD-3DHeads, un jeu de données à grande échelle dense et diversifié, ainsi qu’un modèle robuste pour l’alignement 3D dense de visages dans des conditions réelles (in the wild). Ce jeu de données contient des annotations de plus de 3 500 points d’intérêt, qui représentent avec précision la forme 3D du visage par rapport aux scans de référence. Le modèle data-driven, DAD-3DNet, entraîné sur notre jeu de données, apprend les paramètres de forme, d’expression et de pose, et réalise une reconstruction 3D d’un maillage FLAME. Le modèle intègre également une branche de prédiction de points d’intérêt afin d’exploiter une supervision riche et la co-formation de plusieurs tâches corrélées. Expérimentalement, DAD-3DNet dépasse ou égale les modèles de pointe dans les tâches suivantes : (i) estimation de la pose 3D du visage sur AFLW2000-3D et BIWI, (ii) reconstruction de la forme 3D du visage sur NoW et Feng, et (iii) alignement 3D dense du visage et estimation des points 3D sur le jeu de données DAD-3DHeads. Enfin, la diversité de DAD-3DHeads en termes d’angles de caméra, d’expressions faciales et d’occlusions permet de constituer une référence pour étudier la généralisation dans des conditions réelles et la robustesse aux décalages de distribution. La page web du jeu de données est disponible à l’adresse suivante : https://p.farm/research/dad-3dheads.