Komprimierte 3D-Gauß-Splatting für beschleunigte Synthese neuer Ansichten

Kürzlich wurde eine hochfidele Szenenrekonstruktion mit einer optimierten 3D-Gauß-Splat-Darstellung für die Synthese neuer Ansichten aus spärlichen Bildsätzen vorgestellt. Um solche Darstellungen für Anwendungen wie Netzwerk-Streaming und Rendering auf energiearmen Geräten nutzbar zu machen, sind eine erheblich reduzierte Speicherauslastung sowie eine verbesserte Rendering-Effizienz erforderlich. Wir schlagen eine komprimierte 3D-Gauß-Splat-Darstellung vor, die sensibilitätsorientierte Vektor-Clustering in Kombination mit quantisierungsorientiertem Training nutzt, um Richtungsfarben und Gauß-Parameter zu komprimieren. Die gelernten Codebooks weisen niedrige Bitraten auf und erreichen eine Kompressionsrate von bis zu $31\times$ bei realen Szenen mit nur minimaler Degradierung der visuellen Qualität. Wir zeigen, dass die komprimierte Splat-Darstellung effizient mit Hardware-Rasterisierung auf leichten GPUs mit bis zu $4\times$ höheren Bildraten gerendert werden kann als durch einen optimierten GPU-Compute-Pipeline berichtet wurde. Umfangreiche Experimente an mehreren Datensätzen belegen die Robustheit und die hohe Rendering-Geschwindigkeit des vorgeschlagenen Ansatzes.