Kompakte 3D-Szenendarstellung mittels selbstorganisierender Gauss-Grids

3D Gaussian Splatting ist kürzlich zu einer äußerst vielversprechenden Technik für die Modellierung statischer 3D-Szenen geworden. Im Gegensatz zu Neural Radiance Fields nutzt es eine effiziente Rasterisierung, die eine sehr schnelle Darstellung mit hoher Qualität ermöglicht. Allerdings ist der Speicherbedarf erheblich höher, was die praktische Anwendung – beispielsweise auf ressourcenbeschränkten Geräten – erschwert. In diesem Paper stellen wir eine kompakte Szenendarstellung vor, die die Parameter von 3D Gaussian Splatting (3DGS) in ein 2D-Gitter mit lokaler Homogenität organisiert und somit einen drastischen Rückgang des Speicherbedarfs ermöglicht, ohne die visuelle Qualität während der Darstellung zu beeinträchtigen. Zentraler Gedanke unserer Methode ist die explizite Ausnutzung von wahrnehmungsbedingten Redundanzen, die in natürlichen Szenen vorliegen. Im Wesentlichen erlaubt die inhärente Struktur einer Szene zahlreiche Permutationen der Gauß-Parameter, um sie äquivalent darzustellen. Dazu schlagen wir einen neuartigen, hochgradig parallelen Algorithmus vor, der die hochdimensionalen Gauß-Parameter regelmäßig in ein 2D-Gitter anordnet, während deren Nachbarschaftsstruktur erhalten bleibt. Während des Trainings forcieren wir zudem lokale Glätte zwischen den sortierten Parametern im Gitter. Die unkomprimierten Gauß-Objekte behalten die gleiche Struktur wie 3DGS, was eine nahtlose Integration mit etablierten Renderern gewährleistet. Unsere Methode erreicht eine Reduktion des Speicherbedarfs um den Faktor 17 bis 42 bei komplexen Szenen, ohne die Trainingszeit zu erhöhen, und stellt somit einen bedeutenden Fortschritt im Bereich der Verteilung und Nutzung von 3D-Szenen dar. Weitere Informationen finden Sie auf unserer Projektseite: https://fraunhoferhhi.github.io/Self-Organizing-Gaussians/