Vers un modèle 3D de visage morphable non linéaire à haute fidélité

L'intégration de fonctions morphables 3D dans les réseaux neuronaux profonds ouvre un grand potentiel pour des modèles dotés d'une meilleure capacité de représentation. Cependant, pour apprendre fidèlement ces modèles à partir d'une collection d'images, il est nécessaire d'appliquer une régularisation forte afin de surmonter les ambiguïtés inhérentes au processus d'apprentissage. Cette contrainte critique nous empêche de créer des modèles faciaux haute fidélité, nécessaires pour représenter les images faciales avec un haut niveau de détails. Pour résoudre ce problème, cet article présente une nouvelle approche consistant à apprendre des proxys supplémentaires comme moyen de contourner la régularisation forte, ainsi qu'à promouvoir une forme et une albedo détaillées. Afin de faciliter l'apprentissage, nous proposons également l'utilisation d'un réseau à double voie, une architecture soigneusement conçue qui établit un équilibre entre les modèles globaux et locaux. En améliorant le modèle morphable non linéaire 3D tant dans l'objectif d'apprentissage que dans l'architecture du réseau, nous présentons un modèle supérieur en termes de capture de détails à un niveau plus élevé que ses homologues linéaires ou non linéaires précédents. En conséquence, notre modèle atteint des performances de pointe en reconstruction faciale 3D en optimisant uniquement les représentations latentes.