Latent-NeRF pour la génération guidée par la forme de formes et textures 3D

La génération d’images guidée par texte a connu un progrès rapide ces dernières années, stimulant des avancées majeures dans la génération de formes guidées par texte. Récemment, il a été démontré que l’utilisation de la distillation de score permet de guider efficacement un modèle NeRF afin de générer un objet 3D. Nous adaptons cette méthode de distillation de score aux modèles de diffusion latente, largement disponibles et computationnellement efficaces, qui appliquent l’ensemble du processus de diffusion dans un espace latente compact défini par un autoencodeur préentraîné. Étant donné que les NeRF opèrent dans l’espace image, une solution naïve pour les guider via la distillation de score latente nécessiterait une encodage vers l’espace latente à chaque étape de guidage. À la place, nous proposons de transférer le NeRF vers l’espace latente, aboutissant à un modèle appelé Latent-NeRF. En analysant notre Latent-NeRF, nous montrons que bien que les modèles Text-to-3D puissent produire des résultats impressionnants, ils sont intrinsèquement non contraints et peuvent manquer la capacité à guider ou imposer une structure 3D précise. Pour aider et diriger la génération 3D, nous proposons de guider notre Latent-NeRF à l’aide d’un Sketch-Shape : une géométrie abstraite qui définit la structure grossière de l’objet souhaité. Nous présentons ensuite des moyens permettant d’intégrer directement cette contrainte dans un Latent-NeRF. Cette combinaison originale de guidage par texte et par forme permet une meilleure maîtrise du processus de génération. Nous montrons également que la distillation de score latente peut être appliquée avec succès directement sur des maillages 3D, permettant ainsi de générer des textures de haute qualité sur une géométrie donnée. Nos expériences valident la puissance de nos différentes formes de guidage ainsi que l’efficacité de la rendu latente. Le code est disponible à l’adresse suivante : https://github.com/eladrich/latent-nerf