HyperAIHyperAI

Command Palette

Search for a command to run...

Fantasia3D : Découpler la géométrie et l'apparence pour la création de contenu 3D à partir de texte de haute qualité

Rui Chen Yongwei Chen Ningxin Jiao Kui Jia

Résumé

La création automatique de contenu 3D a connu un progrès rapide récemment, grâce à la disponibilité de grands modèles linguistiques pré-entraînés et de modèles de diffusion d’images, donnant naissance à un domaine émergent : la génération de contenu 3D à partir de texte (text-to-3D). Les méthodes existantes de type text-to-3D utilisent généralement des représentations scéniques implicites, qui couplent géométrie et apparence via une rendu volumique, et se révèlent sous-optimales pour la reconstruction de détails géométriques fins et pour atteindre un rendu photoréaliste ; par conséquent, elles sont moins efficaces pour produire des actifs 3D de haute qualité. Dans ce travail, nous proposons une nouvelle méthode, appelée Fantasia3D, pour la création de contenu 3D de haute qualité à partir de texte. L’élément clé de Fantasia3D réside dans la modélisation et l’apprentissage déconnectés de la géométrie et de l’apparence. Pour l’apprentissage de la géométrie, nous utilisons une représentation hybride de scène, et proposons d’encoder la normale de surface extraite de cette représentation comme entrée du modèle de diffusion d’images. Pour la modélisation de l’apparence, nous introduisons dans le cadre text-to-3D une fonction de distribution de réflectance bidirectionnelle variant spatialement (BRDF), et apprenons les matériaux de surface afin d’obtenir un rendu photoréaliste de la surface générée. Notre cadre déconnecté est plus compatible avec les moteurs graphiques populaires, permettant le relighting, l’édition et la simulation physique des actifs 3D générés. Nous menons des expériences approfondies qui démontrent les avantages de notre méthode par rapport aux approches existantes dans diverses configurations de tâches text-to-3D. Page du projet et codes sources : https://fantasia3d.github.io/.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Fantasia3D : Découpler la géométrie et l'apparence pour la création de contenu 3D à partir de texte de haute qualité | Articles | HyperAI