Kompakte 3D-Gaußsche Darstellung für Strahlungsfelder

Neural Radiance Fields (NeRFs) haben ein großes Potenzial bei der präzisen Abbildung komplexer 3D-Szenen mit hoher Fidelität demonstriert. Ein anhaltendes Hindernis für die breite Einführung von NeRFs ist jedoch die rechenintensive Herausforderung, die durch die volumetrische Rendering-Technik verursacht wird. Im Gegensatz dazu ist kürzlich eine alternative Darstellung, die 3D-Gauß-Splatting (3DGS), hervorgetreten, die eine auf 3D-Gauß-Funktionen basierende Repräsentation nutzt und anstelle der volumetrischen Rendering-Methode die Rasterisierungspipeline für die Bildgenerierung einsetzt. Dadurch wurde eine äußerst schnelle Rendering-Geschwindigkeit sowie eine vielversprechende Bildqualität erreicht. Ein wesentlicher Nachteil von 3DGS liegt jedoch darin, dass eine große Anzahl an 3D-Gauß-Elementen erforderlich ist, um die hohe Fidelität der dargestellten Bilder zu gewährleisten, was erhebliche Speicher- und Speicherkapazitätsanforderungen mit sich bringt. Um dieses kritische Problem zu lösen, legen wir besonderen Fokus auf zwei zentrale Ziele: die Reduzierung der Anzahl der Gauß-Punkte ohne Leistungseinbuße und die Kompression der Gauß-Attribute wie sichtungsabhängige Farben und Kovarianzen. Dazu schlagen wir eine lernbare Maskenstrategie vor, die die Anzahl der Gauß-Elemente erheblich reduziert, während gleichzeitig eine hohe Leistung aufrechterhalten wird. Zusätzlich stellen wir eine kompakte, aber effektive Darstellung sichtungsabhängiger Farben vor, indem wir anstelle von sphärischen Harmonischen ein gitterbasiertes neuronales Feld verwenden. Schließlich lernen wir Codebücher, um die geometrischen Attribute der Gauß-Elemente mittels Vektorquantisierung kompakt darzustellen. Durch den Einsatz von Modellkompressionsmethoden wie Quantisierung und Entropiecodierung zeigen wir konsequent eine Reduktion des Speicherbedarfs um über 25× sowie eine verbesserte Rendering-Geschwindigkeit, wobei die Qualität der Szenendarstellung unangetastet bleibt im Vergleich zu 3DGS. Unsere Arbeit liefert einen umfassenden Rahmen für die 3D-Szenenrepräsentation, der hohe Leistung, schnelles Training, Kompressivität und Echtzeit-Rendering vereint. Die Projektseite ist unter https://maincold2.github.io/c3dgs/ verfügbar.