HyperAIHyperAI

Command Palette

Search for a command to run...

HDR-GS: Effiziente Hochdynamik-Bildsynthese aus neuen Ansichten mit 1000-facher Geschwindigkeit mittels Gaussian Splatting

Yuanhao Cai Zihao Xiao Yixun Liang Yulun Zhang Xiaokang Yang Yaoyao Liu Alan Yuille

Zusammenfassung

Hochdynamic Range (HDR) Novel View Synthesis (NVS) zielt darauf ab, photorealistische Bilder aus neuen Blickwinkeln mithilfe von HDR-Bildgebungstechniken zu erzeugen. Die dargestellten HDR-Bilder erfassen einen breiteren Helligkeitsbereich und enthalten somit mehr Szenendetails als herkömmliche Bilder mit niedrigem Dynamikbereich (LDR). Bestehende HDR-NVS-Methoden basieren hauptsächlich auf NeRF. Sie leiden jedoch unter langen Trainingszeiten und langsamen Inferenzgeschwindigkeiten. In diesem Paper stellen wir einen neuen Ansatz, High Dynamic Range Gaussian Splatting (HDR-GS), vor, der effizient neue HDR-Blickwinkel rendern und LDR-Bilder unter Verwendung einer vom Benutzer vorgegebenen Belichtungszeit rekonstruieren kann. Konkret entwerfen wir ein Dual Dynamic Range (DDR)-Gaußsches Punktwolkenmodell, das sphärische Harmonische zur Anpassung von HDR-Farben nutzt und einen MLP-basierten Tone-Mapper zur Darstellung von LDR-Farben einsetzt. Die HDR- und LDR-Farben werden anschließend in zwei parallele, differenzierbare Rasterisierungsprozesse (Parallel Differentiable Rasterization, PDR) eingespeist, um HDR- und LDR-Blickwinkel zu rekonstruieren. Um die datenbasierte Grundlage für die Forschung zu 3D-Gauß-Splatting-basierten Methoden im Bereich HDR-NVS zu schaffen, kalibrieren wir die Kameraparameter neu und berechnen die Anfangspositionen der Gaußschen Punktwolken. Experimente zeigen, dass unser HDR-GS den Stand der Technik basierend auf NeRF sowohl bei der LDR- als auch bei der HDR-NVS um 3,84 bzw. 1,91 dB übertrifft, während es eine 1000-fach höhere Inferenzgeschwindigkeit aufweist und lediglich 6,3 % der Trainingszeit benötigt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp