HDR-NeRF: High Dynamic Range Neural Radiance Fields

Wir präsentieren High Dynamic Range Neural Radiance Fields (HDR-NeRF), um aus einer Reihe von Low Dynamic Range (LDR)-Ansichten mit unterschiedlichen Belichtungszeiten ein HDR-Radiance-Feld wiederherzustellen. Mit dem HDR-NeRF können wir sowohl neue HDR-Ansichten als auch neue LDR-Ansichten unter verschiedenen Belichtungsbedingungen generieren. Der Schlüssel unserer Methode liegt in der Modellierung des physikalischen Abbildungsprozesses, gemäß dem die Radiance eines Szenenpunkts mittels zweier impliziter Funktionen in einen Pixelwert in der LDR-Bild entsteht: einem Radiance-Feld und einem Tone Mapper. Das Radiance-Feld kodiert die Szenen-Radiance (Werte reichen von 0 bis +∞) und gibt durch Angabe der Strahlursprungskoordinaten und -richtung die Dichte und Radiance eines Strahls aus. Der Tone Mapper modelliert den Prozess, bei dem ein Strahl auf den Kamerasensor trifft und zu einem Pixelwert wird. Die Farbe des Strahls wird durch Eingabe der Radiance und der entsprechenden Belichtungszeit in den Tone Mapper vorhergesagt. Wir verwenden die klassische Technik der Volumen-Rendering, um die ausgegebenen Radiance-, Farb- und Dichtewerte in HDR- und LDR-Bilder zu projizieren, wobei lediglich die Eingabebilder in LDR als Supervision dienen. Wir haben eine neue, nach vorne gerichtete HDR-Datenbank zusammengestellt, um die vorgeschlagene Methode zu evaluieren. Experimentelle Ergebnisse an synthetischen und realen Szenen bestätigen, dass unsere Methode nicht nur die Belichtung der synthetisierten Ansichten präzise steuern kann, sondern auch Ansichten mit hohem Dynamikumfang rendern kann.