HDR-GS: Effiziente Hochdynamik-Bildsynthese aus neuen Ansichten mit 1000-facher Geschwindigkeit mittels Gaussian Splatting

Hochdynamic Range (HDR) Novel View Synthesis (NVS) zielt darauf ab, photorealistische Bilder aus neuen Blickwinkeln mithilfe von HDR-Bildgebungstechniken zu erzeugen. Die dargestellten HDR-Bilder erfassen einen breiteren Helligkeitsbereich und enthalten somit mehr Szenendetails als herkömmliche Bilder mit niedrigem Dynamikbereich (LDR). Bestehende HDR-NVS-Methoden basieren hauptsächlich auf NeRF. Sie leiden jedoch unter langen Trainingszeiten und langsamen Inferenzgeschwindigkeiten. In diesem Paper stellen wir einen neuen Ansatz, High Dynamic Range Gaussian Splatting (HDR-GS), vor, der effizient neue HDR-Blickwinkel rendern und LDR-Bilder unter Verwendung einer vom Benutzer vorgegebenen Belichtungszeit rekonstruieren kann. Konkret entwerfen wir ein Dual Dynamic Range (DDR)-Gaußsches Punktwolkenmodell, das sphärische Harmonische zur Anpassung von HDR-Farben nutzt und einen MLP-basierten Tone-Mapper zur Darstellung von LDR-Farben einsetzt. Die HDR- und LDR-Farben werden anschließend in zwei parallele, differenzierbare Rasterisierungsprozesse (Parallel Differentiable Rasterization, PDR) eingespeist, um HDR- und LDR-Blickwinkel zu rekonstruieren. Um die datenbasierte Grundlage für die Forschung zu 3D-Gauß-Splatting-basierten Methoden im Bereich HDR-NVS zu schaffen, kalibrieren wir die Kameraparameter neu und berechnen die Anfangspositionen der Gaußschen Punktwolken. Experimente zeigen, dass unser HDR-GS den Stand der Technik basierend auf NeRF sowohl bei der LDR- als auch bei der HDR-NVS um 3,84 bzw. 1,91 dB übertrifft, während es eine 1000-fach höhere Inferenzgeschwindigkeit aufweist und lediglich 6,3 % der Trainingszeit benötigt.