Command Palette
Search for a command to run...
Latents structurés natifs et compacts pour la génération 3D
Latents structurés natifs et compacts pour la génération 3D
Résumé
Les progrès récents dans le domaine de la modélisation générative 3D ont considérablement amélioré le réalisme des objets générés, mais le domaine reste freiné par les représentations existantes, qui peinent à capturer des ressources présentant des topologies complexes et des apparences détaillées. Ce papier présente une approche visant à apprendre une représentation latente structurée à partir de données 3D natives afin de relever ce défi. Au cœur de cette méthode se trouve une nouvelle structure de voxels creux appelée O-Voxel, une représentation omnivoxels qui encode à la fois la géométrie et l’apparence. L’O-Voxel permet de modéliser robustement des topologies arbitraires, y compris des surfaces ouvertes, non-manifold et entièrement fermées, tout en capturant des attributs de surface complets au-delà de la couleur texturée, tels que les paramètres de rendu basés sur la physique. À partir de cette structure O-Voxel, nous avons conçu un VAE de compression creuse (Sparse Compression VAE), offrant un taux de compression spatiale élevé et un espace latent compact. Nous avons entraîné des modèles à grande échelle basés sur le matching de flux, comprenant jusqu’à 4 milliards de paramètres, pour la génération 3D à l’aide de diverses bases publiques de ressources 3D. Malgré leur ampleur, ces modèles permettent une inférence extrêmement efficace. Par ailleurs, la qualité géométrique et matérielle des ressources générées dépasse largement celle des modèles existants. Nous estimons que notre approche constitue une avancée significative dans le domaine de la modélisation générative 3D.