Représentation compacte en gaussiennes 3D pour le champ de radiance

Les champs de radiance neuronaux (NeRFs) ont démontré un potentiel remarquable pour capturer des scènes 3D complexes avec une fidélité élevée. Toutefois, un défi persistant qui entrave leur adoption généralisée réside dans le goulot d’étranglement computationnel provoqué par le rendu volumétrique. À l’inverse, le splatting gaussien 3D (3DGS) est récemment apparu comme une alternative prometteuse, reposant sur une représentation basée sur des gaussiennes 3D et utilisant une pipeline de rasterisation pour le rendu d’images, plutôt que le rendu volumétrique, permettant ainsi des vitesses de rendu très élevées tout en offrant une qualité d’image prometteuse. Toutefois, un inconvénient majeur se pose : le 3DGS nécessite un grand nombre de gaussiennes 3D pour préserver la fidélité des images rendues, ce qui implique une consommation importante de mémoire et d’espace de stockage. Pour résoudre ce problème critique, nous nous concentrons sur deux objectifs clés : réduire le nombre de points gaussiens sans compromettre les performances, et compresser les attributs des gaussiennes, tels que la couleur dépendante de la vue et la covariance. À cet effet, nous proposons une stratégie de masque apprenable qui réduit significativement le nombre de gaussiennes tout en préservant des performances élevées. Par ailleurs, nous introduisons une représentation compacte mais efficace de la couleur dépendante de la vue en utilisant un champ neuronal basé sur une grille, au lieu de s’appuyer sur les harmoniques sphériques. Enfin, nous apprenons des codebooks pour représenter de manière compacte les attributs géométriques des gaussiennes via une quantification vectorielle. Grâce à des techniques de compression de modèle telles que la quantification et le codage par entropie, nous démontrons de manière cohérente une réduction de plus de 25× de l’espace de stockage, accompagnée d’une amélioration de la vitesse de rendu, tout en maintenant la qualité de la représentation de la scène, par rapport au 3DGS. Ce travail fournit un cadre complet pour la représentation de scènes 3D, atteignant à la fois de hautes performances, une formation rapide, une compacité accrue et un rendu en temps réel. La page du projet est disponible à l’adresse suivante : https://maincold2.github.io/c3dgs/.