3D Gaussian Splatting für die Echtzeit-Radiance-Feld-Rendering

Radiance Field-Verfahren haben in letzter Zeit die Synthese neuer Ansichten von Szenen, die mit mehreren Fotos oder Videos erfasst wurden, revolutioniert. Dennoch erfordert eine hohe visuelle Qualität weiterhin neuronale Netze, die kostenintensiv zu trainieren und zu rendern sind, während neuere schnellere Methoden zwangsläufig Geschwindigkeit gegen Qualität eintauschen. Für unbegrenzte und vollständige Szenen (im Gegensatz zu isolierten Objekten) und die Wiedergabe in 1080p-Auflösung kann bisher keine existierende Methode Echtzeit-Displayraten erreichen. Wir stellen drei Schlüsselelemente vor, die es uns ermöglichen, den Stand der Technik in Bezug auf visuelle Qualität zu erreichen, gleichzeitig wettbewerbsfähige Trainingszeiten zu bewahren und insbesondere eine hochwertige Echtzeit-Synthese neuer Ansichten (≥ 30 fps) in 1080p-Auflösung zu ermöglichen. Erstens repräsentieren wir die Szene ausgehend von spärlichen Punkten, die während der Kamerakalibrierung erzeugt werden, mittels 3D-Gaußverteilungen, die die wünschenswerten Eigenschaften kontinuierlicher volumetrischer Radiance Fields für die Szenenoptimierung bewahren, gleichzeitig aber unnötige Berechnungen im leeren Raum vermeiden. Zweitens führen wir eine abwechselnde Optimierung und Dichtekontrolle der 3D-Gaußverteilungen durch, wobei insbesondere die anisotrope Kovarianz optimiert wird, um eine präzise Darstellung der Szene zu erreichen. Drittens entwickeln wir einen schnellen, sichtbarkeitsbewussten Rendering-Algorithmus, der anisotropes Splatting unterstützt und sowohl das Training beschleunigt als auch Echtzeit-Rendering ermöglicht. Wir demonstrieren den Stand der Technik in Bezug auf visuelle Qualität und Echtzeit-Rendering an mehreren etablierten Datensätzen.