ExposureDiffusion: Lernen der Belichtungseinstellung zur Verbesserung von Bildern bei schlechten Lichtverhältnissen

Bisherige auf Rohbildern basierende Methoden zur Verbesserung von Dunkelbildern griffen hauptsächlich auf Feed-Forward-Neuronale Netze zurück, um deterministische Abbildungen von dunklen zu normal belichteten Bildern zu lernen. Diese Ansätze konnten jedoch entscheidende Verteilungsinformationen nicht erfassen, was zu visuell unerwünschten Ergebnissen führte. In dieser Arbeit wird dieses Problem durch die nahtlose Integration eines Diffusionsmodells mit einem physikbasierten Belichtungsmodell angegangen. Im Gegensatz zu einem herkömmlichen Diffusionsmodell, das zunächst eine Gaußsche Rauschunterdrückung durchführen muss, kann unser Wiederherstellungsprozess mit dem eingeführten physikbasierten Belichtungsmodell direkt von einem rauschbehafteten Bild ausgehen, anstatt von reinem Rauschen. Dadurch erzielt unsere Methode eine signifikant verbesserte Leistung und verkürzte Inference-Zeit im Vergleich zu herkömmlichen Diffusionsmodellen. Um die Vorteile verschiedener Zwischenschritte optimal auszunutzen, schlagen wir zudem eine adaptive Residual-Schicht vor, die effektiv Nebenwirkungen bei der iterativen Verbesserung unterdrückt, wenn die Zwischenergebnisse bereits gut belichtet sind. Der vorgeschlagene Rahmen arbeitet sowohl mit realen Paar-Datensätzen, State-of-the-Art-Rauschmodellen als auch mit unterschiedlichen Backbone-Netzwerken. Es sei angemerkt, dass der vorgeschlagene Ansatz mit realen Paar-Datensätzen, realen oder synthetischen Rauschmodellen sowie verschiedenen Backbone-Netzwerken kompatibel ist. Wir evaluieren die Methode an verschiedenen öffentlichen Benchmarks und erreichen vielversprechende Ergebnisse mit konsistenten Verbesserungen bei Verwendung unterschiedlicher Belichtungsmodelle und Backbone-Architekturen. Darüber hinaus zeigt die vorgeschlagene Methode eine bessere Generalisierungsfähigkeit für unbekannte Verstärkungsverhältnisse und übertrifft bei geringem Parameterumfang die Leistung eines größeren Feed-Forward-Neuralen Netzwerks.