Représentation compacte de scènes 3D par grille de Gaussiens auto-organisés

Le Splatting Gaussien 3D est récemment apparu comme une technique particulièrement prometteuse pour la modélisation de scènes 3D statiques. Contrairement aux champs de radiance neuronaux (Neural Radiance Fields), il repose sur une rasterisation efficace, permettant un rendu très rapide à haute qualité. Toutefois, sa taille de stockage est significativement plus élevée, ce qui limite son déploiement pratique, notamment sur des dispositifs à ressources limitées. Dans cet article, nous proposons une représentation de scène compacte qui organise les paramètres du Splatting Gaussien 3D (3DGS) dans une grille 2D présentant une homogénéité locale, garantissant une réduction drastique des besoins en stockage sans compromettre la qualité visuelle lors du rendu. L'idée centrale repose sur l'exploitation explicite des redondances perceptuelles présentes dans les scènes naturelles. En effet, la nature intrinsèque d'une scène permet de nombreuses permutations des paramètres Gaussiens tout en maintenant une représentation équivalente. À cette fin, nous introduisons un nouvel algorithme hautement parallèle qui organise régulièrement les paramètres Gaussiens de haute dimension dans une grille 2D tout en préservant leur structure de voisinage. Pendant l'entraînement, nous imposons en outre une régularité locale entre les paramètres triés dans la grille. Les Gaussiens non compressés conservent la même structure que dans 3DGS, assurant une intégration transparente avec les rendus établis. Notre méthode atteint un facteur de réduction de taille compris entre 17x et 42x pour des scènes complexes, sans augmentation du temps d'entraînement, marquant ainsi une avancée substantielle dans le domaine de la distribution et de la consommation de scènes 3D. Des informations supplémentaires sont disponibles sur notre page de projet : https://fraunhoferhhi.github.io/Self-Organizing-Gaussians/