HyperAIHyperAI

Command Palette

Search for a command to run...

Vers des modèles 3D faciaux génératifs réalistes

Aashish Rai Hiresh Gupta Ayush Pandey Francisco Vicente Carrasco Shingo Jason Takagi Amaury Aubel Daeil Kim Aayush Prakash Fernando de la Torre

Résumé

Ces dernières années, des progrès significatifs ont été réalisés dans le domaine des modèles génératifs 2D de visages, stimulés par des applications telles que l’animation, la génération de données synthétiques et les avatars numériques. Toutefois, en raison de l’absence d’informations 3D, ces modèles 2D peinent souvent à décomposer précisément des attributs faciaux tels que la pose, l’expression ou l’éclairage, ce qui limite leurs capacités d’édition. Pour surmonter cette limitation, cette étude propose un modèle génératif facial contrôlable en 3D, capable de produire des cartes d’albédo de haute qualité ainsi qu’une forme 3D précise, en s’appuyant sur des modèles génératifs 2D existants. En combinant des modèles génératifs 2D de visages avec des techniques de manipulation sémantique, cette méthode permet l’édition de visages 3D rendus détaillés. Le cadre proposé utilise une approche d’optimisation par descente alternée sur la forme et l’albédo. Le rendu différentiable est employé pour entraîner des formes et des albédo de haute qualité sans nécessiter de supervision 3D. En outre, cette approche surpasser les méthodes de l’état de l’art (SOTA) sur le benchmark bien connu NoW pour la reconstruction de forme. Elle dépasse également les modèles de reconstruction SOTA dans la récupération des identités de visages rendus sous de nouvelles poses, avec une amélioration moyenne de 10 %. Enfin, l’étude démontre un contrôle direct des expressions sur les visages 3D grâce à l’exploitation de l’espace latent, permettant ainsi une édition basée sur le texte des visages 3D.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp