Vers la reconstruction 3D du visage dans une projection perspective : estimation de la pose du visage à 6D à partir d'une image monoculaire

Dans la reconstruction 3D du visage, la projection orthogonale est largement utilisée pour remplacer la projection perspective afin de simplifier le processus d’ajustement. Cette approximation fonctionne bien lorsque la distance entre la caméra et le visage est suffisamment grande. Toutefois, dans certaines situations où le visage est très proche de la caméra ou se déplace le long de l’axe de la caméra, les méthodes actuelles souffrent de reconstructions inexactes et d’un ajustement temporel instable, en raison des distorsions introduites par la projection perspective. Dans ce travail, nous nous attaquons au problème de la reconstruction 3D d’un visage à partir d’une seule image sous projection perspective. Plus précisément, nous proposons un réseau neuronal profond, appelé Perspective Network (PerspNet), capable de reconstruire simultanément la forme 3D du visage dans un espace canonique et d’apprendre la correspondance entre les pixels 2D et les points 3D, permettant ainsi d’estimer la pose du visage à 6 degrés de liberté (6DoF) afin de modéliser correctement la projection perspective. En outre, nous introduisons un nouveau jeu de données, ARKitFace, de grande taille, pour permettre l’entraînement et l’évaluation des solutions de reconstruction 3D du visage dans des scénarios de projection perspective. Ce jeu de données comprend 902 724 images faciales 2D annotées avec une maillage 3D de référence et des paramètres de pose 6DoF. Les résultats expérimentaux montrent que notre approche surpasser significativement les méthodes de pointe actuelles. Le code source et les données sont disponibles à l’adresse suivante : https://github.com/cbsropenproject/6dof_face.