Fantasia3D : Découpler la géométrie et l'apparence pour la création de contenu 3D à partir de texte de haute qualité

La création automatique de contenu 3D a connu un progrès rapide récemment, grâce à la disponibilité de grands modèles linguistiques pré-entraînés et de modèles de diffusion d’images, donnant naissance à un domaine émergent : la génération de contenu 3D à partir de texte (text-to-3D). Les méthodes existantes de type text-to-3D utilisent généralement des représentations scéniques implicites, qui couplent géométrie et apparence via une rendu volumique, et se révèlent sous-optimales pour la reconstruction de détails géométriques fins et pour atteindre un rendu photoréaliste ; par conséquent, elles sont moins efficaces pour produire des actifs 3D de haute qualité. Dans ce travail, nous proposons une nouvelle méthode, appelée Fantasia3D, pour la création de contenu 3D de haute qualité à partir de texte. L’élément clé de Fantasia3D réside dans la modélisation et l’apprentissage déconnectés de la géométrie et de l’apparence. Pour l’apprentissage de la géométrie, nous utilisons une représentation hybride de scène, et proposons d’encoder la normale de surface extraite de cette représentation comme entrée du modèle de diffusion d’images. Pour la modélisation de l’apparence, nous introduisons dans le cadre text-to-3D une fonction de distribution de réflectance bidirectionnelle variant spatialement (BRDF), et apprenons les matériaux de surface afin d’obtenir un rendu photoréaliste de la surface générée. Notre cadre déconnecté est plus compatible avec les moteurs graphiques populaires, permettant le relighting, l’édition et la simulation physique des actifs 3D générés. Nous menons des expériences approfondies qui démontrent les avantages de notre méthode par rapport aux approches existantes dans diverses configurations de tâches text-to-3D. Page du projet et codes sources : https://fantasia3d.github.io/.