MoSAR : Modèle monocular semi-supervisé pour la reconstruction d'avatar utilisant l'ombrage différentiable

La reconstruction d’un avatar à partir d’une image portrait présente de nombreuses applications dans le domaine multimédia, mais constitue encore un problème de recherche difficile. L’extraction des cartes de réflectance et de la géométrie à partir d’une seule image est mal posée : la reconstruction de la géométrie relève d’un problème à plusieurs solutions, tandis que la séparation entre réflectance et éclairage s’avère complexe. Des données précises de géométrie et de réflectance peuvent être capturées dans des conditions contrôlées, comme celles offertes par un light stage, mais l’acquisition à grande échelle de telles données s’avère coûteuse. De plus, une formation uniquement basée sur ces données conduit à une mauvaise généralisation sur des images prises « dans le wild ». Cela motive l’introduction de MoSAR, une méthode de génération d’avatars 3D à partir d’images monoscopiques. Nous proposons un schéma d’apprentissage semi-supervisé qui améliore la généralisation en tirant parti à la fois des données issues de light stage et des images prises dans des environnements réels. Ceci est rendu possible grâce à une nouvelle formulation différentiable de l’ombrage. Nous démontrons que notre approche permet efficacement de décomposer les paramètres intrinsèques du visage, produisant ainsi des avatars rééclairables. En conséquence, MoSAR est capable d’estimer un ensemble plus riche de cartes de réflectance cutanée, générant des avatars plus réalistes que les méthodes de pointe actuelles. Nous introduisons également un nouveau jeu de données, nommé FFHQ-UV-Intrinsics, le premier ensemble public offrant à grande échelle des attributs intrinsèques du visage (cartes de diffuse, spéculaire, occlusion ambiante et translucidité) pour un total de 10 000 sujets. Le site web du projet ainsi que le jeu de données sont disponibles à l’adresse suivante : https://ubisoft-laforge.github.io/character/mosar/