HyperAIHyperAI

Command Palette

Search for a command to run...

Magic3D : Création de contenu 3D à partir de texte à haute résolution

Chen-Hsuan Lin Jun Gao Luming Tang Towaki Takikawa Xiaohui Zeng Xun Huang Karsten Kreis Sanja Fidler Ming-Yu Liu Tsung-Yi Lin

Résumé

DreamFusion a récemment démontré l'utilité d'un modèle pré-entraîné de diffusion texte-à-image pour optimiser les champs de radiance neuronaux (NeRF), obtenant des résultats remarquables en synthèse 3D à partir de texte. Toutefois, cette méthode présente deux limitations intrinsèques : (a) une optimisation extrêmement lente des NeRF, et (b) une supervision dans un espace d’images à faible résolution, entraînant des modèles 3D de qualité médiocre et des temps de traitement prolongés. Dans ce papier, nous surmontons ces limites en proposant un cadre d’optimisation en deux étapes. Premièrement, nous obtenons un modèle grossier à l’aide d’un avant-plan de diffusion à faible résolution, accéléré par une structure de grille 3D creuse (sparse 3D hash grid). En utilisant cette représentation grossière comme initialisation, nous optimisons ensuite un maillage 3D texturé à l’aide d’un rendu différentiable efficace interagissant avec un modèle de diffusion latente à haute résolution. Notre méthode, baptisée Magic3D, permet de générer des modèles 3D de haute qualité en 40 minutes, soit deux fois plus vite que DreamFusion (qui prend en moyenne 1,5 heure selon les rapports), tout en atteignant une résolution supérieure. Des études utilisateurs montrent que 61,7 % des évaluateurs préfèrent notre approche à celle de DreamFusion. Associée à la capacité de génération conditionnée par image, notre méthode offre aux utilisateurs de nouvelles possibilités de contrôle dans la synthèse 3D, ouvrant la voie à de nombreuses applications créatives.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp