LION : Modèles de diffusion de points latents pour la génération de formes 3D

Les modèles de diffusion débruitants (DDMs) ont montré des résultats prometteurs dans la synthèse de nuages de points 3D. Pour faire progresser les DDMs 3D et les rendre utiles aux artistes numériques, nous devons disposer de (i) une qualité de génération élevée, (ii) une flexibilité permettant des manipulations et applications variées telles que la synthèse conditionnelle ou l’interpolation de formes, et (iii) la capacité à produire des surfaces lisses ou des maillages 3D. À cette fin, nous introduisons le modèle de diffusion de points hiérarchique (LION), dédié à la génération de formes 3D. LION repose sur une architecture d’auto-encodeur variationnel (VAE) à espace latent hiérarchique, combinant une représentation latente globale de la forme et un espace latent structuré par points. Pour la génération, nous entraînons deux modèles de diffusion hiérarchiques dans ces espaces latents. L’approche VAE hiérarchique améliore significativement les performances par rapport aux DDMs agissant directement sur les nuages de points, tout en maintenant les espaces latents structurés par points particulièrement adaptés à la modélisation basée sur la diffusion. Expérimentalement, LION atteint un niveau d’état de l’art en matière de génération sur plusieurs benchmarks ShapeNet. De plus, notre cadre VAE permet une utilisation aisée de LION pour diverses tâches pertinentes : LION excelle dans le débruitage multimodal de formes et la synthèse conditionnée par voxels, et peut être adapté à la génération 3D pilotée par texte ou par image. Nous démontrons également la capacité d’auto-encodage des formes et l’interpolation latente de formes, et enrichissons LION par des techniques modernes de reconstruction de surfaces afin de générer des maillages 3D lisses. Nous espérons que LION constituera un outil puissant pour les artistes travaillant avec des formes 3D, grâce à sa haute qualité de génération, sa flexibilité et sa capacité de reconstruction de surfaces. Page du projet et code : https://nv-tlabs.github.io/LION.