HyperAIHyperAI

Command Palette

Search for a command to run...

MoSAR : Modèle monocular semi-supervisé pour la reconstruction d'avatar utilisant l'ombrage différentiable

Abdallah Dib Luiz Gustavo Hafemann Emeline Got Trevor Anderson Amin Fadaeinejad Rafael M. O. Cruz Marc-Andre Carbonneau

Résumé

La reconstruction d’un avatar à partir d’une image portrait présente de nombreuses applications dans le domaine multimédia, mais constitue encore un problème de recherche difficile. L’extraction des cartes de réflectance et de la géométrie à partir d’une seule image est mal posée : la reconstruction de la géométrie relève d’un problème à plusieurs solutions, tandis que la séparation entre réflectance et éclairage s’avère complexe. Des données précises de géométrie et de réflectance peuvent être capturées dans des conditions contrôlées, comme celles offertes par un light stage, mais l’acquisition à grande échelle de telles données s’avère coûteuse. De plus, une formation uniquement basée sur ces données conduit à une mauvaise généralisation sur des images prises « dans le wild ». Cela motive l’introduction de MoSAR, une méthode de génération d’avatars 3D à partir d’images monoscopiques. Nous proposons un schéma d’apprentissage semi-supervisé qui améliore la généralisation en tirant parti à la fois des données issues de light stage et des images prises dans des environnements réels. Ceci est rendu possible grâce à une nouvelle formulation différentiable de l’ombrage. Nous démontrons que notre approche permet efficacement de décomposer les paramètres intrinsèques du visage, produisant ainsi des avatars rééclairables. En conséquence, MoSAR est capable d’estimer un ensemble plus riche de cartes de réflectance cutanée, générant des avatars plus réalistes que les méthodes de pointe actuelles. Nous introduisons également un nouveau jeu de données, nommé FFHQ-UV-Intrinsics, le premier ensemble public offrant à grande échelle des attributs intrinsèques du visage (cartes de diffuse, spéculaire, occlusion ambiante et translucidité) pour un total de 10 000 sujets. Le site web du projet ainsi que le jeu de données sont disponibles à l’adresse suivante : https://ubisoft-laforge.github.io/character/mosar/


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
MoSAR : Modèle monocular semi-supervisé pour la reconstruction d'avatar utilisant l'ombrage différentiable | Articles | HyperAI