Gated Fusion Network für die Entnebelung von Einzelbildern

In dieser Arbeit schlagen wir einen effizienten Algorithmus vor, um ein klares Bild direkt aus einem nebligen Eingangsbild zu rekonstruieren. Der vorgeschlagene Algorithmus basiert auf einem von Ende zu Ende trainierbaren neuronalen Netzwerk, das aus einem Encoder und einem Decoder besteht. Der Encoder wird genutzt, um den Kontext der abgeleiteten Eingangsbilder zu erfassen, während der Decoder angewendet wird, um die Beiträge jedes Eingangs zur endgültigen entnebelten Ergebnis auf Basis der durch den Encoder gelernten Darstellungen zu schätzen. Das konstruierte Netzwerk verwendet eine neuartige fusionbasierte Strategie, bei der drei Eingänge aus einem ursprünglichen nebligen Bild durch Anwendung von Weißabgleich (White Balance, WB), Kontrastverbesserung (Contrast Enhancing, CE) und Gamma-Korrektur (Gamma Correction, GC) abgeleitet werden. Wir berechnen pixelweise Vertrauenskarten basierend auf den optischen Unterschieden zwischen diesen verschiedenen Eingängen, um die Informationen der abgeleiteten Eingänge zu kombinieren und Bereiche mit angenehmer Sichtbarkeit zu erhalten. Das endgültige entnebelte Bild wird durch das Gating wichtiger Merkmale der abgeleiteten Eingänge erzeugt. Um das Netzwerk zu trainieren, führen wir einen mehrskaligen Ansatz ein, sodass Halo-Artefakte vermieden werden können. Ausführliche experimentelle Ergebnisse sowohl an synthetischen als auch an realen Bildern zeigen, dass der vorgeschlagene Algorithmus gegenüber den Stand-of-the-Art-Verfahren günstig abschneidet.