Magic3D : Création de contenu 3D à partir de texte à haute résolution

DreamFusion a récemment démontré l'utilité d'un modèle pré-entraîné de diffusion texte-à-image pour optimiser les champs de radiance neuronaux (NeRF), obtenant des résultats remarquables en synthèse 3D à partir de texte. Toutefois, cette méthode présente deux limitations intrinsèques : (a) une optimisation extrêmement lente des NeRF, et (b) une supervision dans un espace d’images à faible résolution, entraînant des modèles 3D de qualité médiocre et des temps de traitement prolongés. Dans ce papier, nous surmontons ces limites en proposant un cadre d’optimisation en deux étapes. Premièrement, nous obtenons un modèle grossier à l’aide d’un avant-plan de diffusion à faible résolution, accéléré par une structure de grille 3D creuse (sparse 3D hash grid). En utilisant cette représentation grossière comme initialisation, nous optimisons ensuite un maillage 3D texturé à l’aide d’un rendu différentiable efficace interagissant avec un modèle de diffusion latente à haute résolution. Notre méthode, baptisée Magic3D, permet de générer des modèles 3D de haute qualité en 40 minutes, soit deux fois plus vite que DreamFusion (qui prend en moyenne 1,5 heure selon les rapports), tout en atteignant une résolution supérieure. Des études utilisateurs montrent que 61,7 % des évaluateurs préfèrent notre approche à celle de DreamFusion. Associée à la capacité de génération conditionnée par image, notre méthode offre aux utilisateurs de nouvelles possibilités de contrôle dans la synthèse 3D, ouvrant la voie à de nombreuses applications créatives.