Command Palette
Search for a command to run...
Komprimierte 3D-Gauß-Splatting für beschleunigte Synthese neuer Ansichten
Komprimierte 3D-Gauß-Splatting für beschleunigte Synthese neuer Ansichten
Simon Niedermayr Josef Stumpfegger Rüdiger Westermann
Zusammenfassung
Kürzlich wurde eine hochfidele Szenenrekonstruktion mit einer optimierten 3D-Gauß-Splat-Darstellung für die Synthese neuer Ansichten aus spärlichen Bildsätzen vorgestellt. Um solche Darstellungen für Anwendungen wie Netzwerk-Streaming und Rendering auf energiearmen Geräten nutzbar zu machen, sind eine erheblich reduzierte Speicherauslastung sowie eine verbesserte Rendering-Effizienz erforderlich. Wir schlagen eine komprimierte 3D-Gauß-Splat-Darstellung vor, die sensibilitätsorientierte Vektor-Clustering in Kombination mit quantisierungsorientiertem Training nutzt, um Richtungsfarben und Gauß-Parameter zu komprimieren. Die gelernten Codebooks weisen niedrige Bitraten auf und erreichen eine Kompressionsrate von bis zu 31× bei realen Szenen mit nur minimaler Degradierung der visuellen Qualität. Wir zeigen, dass die komprimierte Splat-Darstellung effizient mit Hardware-Rasterisierung auf leichten GPUs mit bis zu 4× höheren Bildraten gerendert werden kann als durch einen optimierten GPU-Compute-Pipeline berichtet wurde. Umfangreiche Experimente an mehreren Datensätzen belegen die Robustheit und die hohe Rendering-Geschwindigkeit des vorgeschlagenen Ansatzes.