LightGaussian: Unbeschränkte 3D-Gauß-Kompression mit 15-facher Reduktion und 200+ FPS

Neuere Fortschritte in der Echtzeit-Neural Rendering-Technik basierend auf Punktdarstellungen haben die breitere Einführung von 3D-Repräsentationen ermöglicht. Allerdings verursachen grundlegende Ansätze wie 3D Gaussian Splatting erhebliche Speicheranforderungen, da Structure-from-Motion (SfM)-Punkte in die Millionen gehen können und oft Gigabyte an Festplattenspeicher für eine einzelne unbeschränkte Szene erfordern. Diese Skalierung führt zu erheblichen Herausforderungen in Bezug auf Skalierbarkeit und beeinträchtigt die Effizienz des Splatting-Prozesses. Um diesem Problem entgegenzuwirken, stellen wir LightGaussian vor – eine Methode zur Umwandlung von 3D-Gauß-Verteilungen in eine kompaktere Form. Angelehnt an das Konzept des Network Pruning identifiziert LightGaussian Gauß-Verteilungen mit geringer globaler Bedeutung für die Rekonstruktion der Szene und wendet einen Pruning- und Wiederherstellungsprozess an, um Redundanz zu reduzieren, ohne die visuelle Qualität zu beeinträchtigen. Anschließend übertragen Wissensdistillation und Pseudo-View-Augmentation die sphärischen Harmonischen-Koeffizienten auf einen niedrigeren Grad, was kompakte Repräsentationen ermöglicht. Durch Gaußsche Vektorquantisierung, die auf der globalen Bedeutung jedes Gauß-Verteilung basiert, wird zudem die Bitbreite weiter reduziert, wobei der Genauigkeitsverlust minimal bleibt. LightGaussian erreicht im Durchschnitt eine Kompressionsrate von 15× und steigert die FPS innerhalb des 3D-GS-Frameworks von 144 auf 237, was eine effiziente Darstellung komplexer Szenen auf den Datensätzen Mip-NeRF 360 und Tank & Temple ermöglicht. Der vorgeschlagene Ansatz zur Gauß-Pruning ist zudem auf andere 3D-Repräsentationen (z. B. Scaffold-GS) übertragbar und zeigt eine starke Generalisierbarkeit.