Command Palette
Search for a command to run...
HDR-GS: Effiziente Hochdynamik-Bildsynthese aus neuen Ansichten mit 1000-facher Geschwindigkeit mittels Gaussian Splatting
HDR-GS: Effiziente Hochdynamik-Bildsynthese aus neuen Ansichten mit 1000-facher Geschwindigkeit mittels Gaussian Splatting
Yuanhao Cai Zihao Xiao Yixun Liang Yulun Zhang Xiaokang Yang Yaoyao Liu Alan Yuille
Zusammenfassung
Hochdynamic Range (HDR) Novel View Synthesis (NVS) zielt darauf ab, photorealistische Bilder aus neuen Blickwinkeln mithilfe von HDR-Bildgebungstechniken zu erzeugen. Die dargestellten HDR-Bilder erfassen einen breiteren Helligkeitsbereich und enthalten somit mehr Szenendetails als herkömmliche Bilder mit niedrigem Dynamikbereich (LDR). Bestehende HDR-NVS-Methoden basieren hauptsächlich auf NeRF. Sie leiden jedoch unter langen Trainingszeiten und langsamen Inferenzgeschwindigkeiten. In diesem Paper stellen wir einen neuen Ansatz, High Dynamic Range Gaussian Splatting (HDR-GS), vor, der effizient neue HDR-Blickwinkel rendern und LDR-Bilder unter Verwendung einer vom Benutzer vorgegebenen Belichtungszeit rekonstruieren kann. Konkret entwerfen wir ein Dual Dynamic Range (DDR)-Gaußsches Punktwolkenmodell, das sphärische Harmonische zur Anpassung von HDR-Farben nutzt und einen MLP-basierten Tone-Mapper zur Darstellung von LDR-Farben einsetzt. Die HDR- und LDR-Farben werden anschließend in zwei parallele, differenzierbare Rasterisierungsprozesse (Parallel Differentiable Rasterization, PDR) eingespeist, um HDR- und LDR-Blickwinkel zu rekonstruieren. Um die datenbasierte Grundlage für die Forschung zu 3D-Gauß-Splatting-basierten Methoden im Bereich HDR-NVS zu schaffen, kalibrieren wir die Kameraparameter neu und berechnen die Anfangspositionen der Gaußschen Punktwolken. Experimente zeigen, dass unser HDR-GS den Stand der Technik basierend auf NeRF sowohl bei der LDR- als auch bei der HDR-NVS um 3,84 bzw. 1,91 dB übertrifft, während es eine 1000-fach höhere Inferenzgeschwindigkeit aufweist und lediglich 6,3 % der Trainingszeit benötigt.