Domain Adaptation für Bildentnebelung

Die Bildentnebelung mittels lernbasierter Methoden hat in den letzten Jahren eine state-of-the-art-Leistung erzielt. Allerdings trainieren die meisten bestehenden Ansätze ein Entnebelungsmodell anhand synthetischer nebeliger Bilder, die aufgrund eines Domänenversatzes weniger gut auf reale nebelige Bilder generalisieren können. Um dieses Problem anzugehen, schlagen wir ein Domänenanpassungsparadigma vor, das aus einem Bildübersetzungsmodul und zwei Bildentnebelungsmodulen besteht. Konkret wenden wir zunächst ein bidirektionales Übersetzungsnetzwerk an, um die Lücke zwischen der synthetischen und der realen Domäne zu schließen, indem Bilder von einer Domäne in die andere übertragen werden. Anschließend nutzen wir Bilder vor und nach der Übersetzung, um die vorgeschlagenen beiden Entnebelungsnetzwerke unter Einhaltung einer Konsistenzbedingung zu trainieren. In diesem Schritt integrieren wir das reale nebelige Bild in den Entnebelungstrainingprozess, indem wir Eigenschaften des klaren Bildes (z. B. den dunklen Kanalvorbehalt und die Glättung der Bildgradienten) ausnutzen, um die Domänenanpassung weiter zu verbessern. Durch die end-to-end-Trainierung des Bildübersetzungs- und des Entnebelungsnetzwerks erreichen wir eine verbesserte Leistung sowohl bei der Bildübersetzung als auch bei der Entnebelung. Experimentelle Ergebnisse an sowohl synthetischen als auch realen Bildern zeigen, dass unser Modell die aktuellen state-of-the-art-Entnebelungsalgorithmen übertrifft.