HDR-Bildrekonstruktion aus einer einzelnen Belichtung mit tiefen CNNs

Kamerasensoren können nur einen begrenzten Helligkeitsbereich gleichzeitig erfassen, und um Hochkontrastbilder (High Dynamic Range, HDR) zu erstellen, werden in der Regel verschiedene Belichtungen kombiniert. In dieser Arbeit adressieren wir das Problem der Vorhersage von Informationen, die in überbelichteten Bildabschnitten verloren gegangen sind, um eine HDR-Rekonstruktion aus einer einzelnen Belichtung zu ermöglichen. Wir zeigen, dass dieses Problem für Tiefenlernverfahren (Deep Learning) gut geeignet ist, und schlagen ein tiefes Faltungsneuronales Netzwerk (Convolutional Neural Network, CNN) vor, das speziell auf die Herausforderungen bei der Vorhersage von HDR-Werten abgestimmt ist. Um das CNN zu trainieren, sammeln wir ein großes Datenset von HDR-Bildern und erweitern es durch die Simulation von Sensorensättigung für eine Reihe von Kameras. Um die Robustheit weiter zu erhöhen, führen wir eine Vortrainierung des CNNs auf einem simulierten HDR-Datenset durch, das aus einer Teilmenge der MIT Places-Datenbank erstellt wurde. Wir demonstrieren, dass unser Ansatz hochaufgelöste und visuell überzeugende HDR-Ergebnisse in einer Vielzahl von Situationen erzielen kann und sich auch gut auf die Rekonstruktion von mit beliebigen und günstigen Kameras aufgenommenen Bildern verallgemeinert, die unbekannte Kamerantwortfunktionen und Nachbearbeitungen verwenden. Darüber hinaus vergleichen wir unseren Ansatz mit bestehenden Methoden zur HDR-Expansion und zeigen hohe Qualität auch bei bildbasiertem Beleuchtungseffekt (Image Based Lighting). Schließlich bewerten wir die Ergebnisse in einem subjektiven Experiment auf einem HDR-Display. Dies zeigt, dass die rekonstruierten HDR-Bilder visuell überzeugend sind und im Vergleich zu bestehenden Methoden große Verbesserungen bieten.