Reconstruction faciale 3D précise avec apprentissage faiblement supervisé : du simple image à l'ensemble d'images

Récemment, les méthodes de reconstruction 3D du visage basées sur l'apprentissage profond ont montré des résultats prometteurs en termes de qualité et d'efficacité. Cependant, l'entraînement des réseaux neuronaux profonds nécessite généralement un grand volume de données, tandis que les images de visages avec des formes 3D de référence sont rares. Dans cet article, nous proposons une nouvelle approche de reconstruction 3D du visage qui : 1) utilise une fonction de perte hybride robuste pour l'apprentissage faiblement supervisé, prenant en compte à la fois des informations de bas niveau et de niveau perceptuel pour la supervision ; et 2) réalise la reconstruction faciale multi-image en exploitant les informations complémentaires provenant d'images différentes pour l'agrégation de forme. Notre méthode est rapide, précise et robuste aux occultations et aux grandes poses. Nous fournissons des expériences exhaustives sur trois jeux de données, comparant systématiquement notre méthode à quinze méthodes récentes et démontrant sa performance au niveau de l'état de l'art.