FIFO: Lernen von Nebelunabhängigen Merkmalen für die Segmentierung nebliger Szenen

Robuste visuelle Erkennung unter ungünstigen Wetterbedingungen ist für reale Anwendungen von großer Bedeutung. In diesem Kontext stellen wir eine neue Methode zur Lernung semantischer Segmentierungsmodelle vor, die robust gegenüber Nebel sind. Der zentrale Ansatz besteht darin, den Nebelzustand eines Bildes als dessen Stil zu betrachten und die Distanz zwischen Bildern mit unterschiedlichen Nebelbedingungen in den neuronalen Stilräumen eines Segmentierungsmodells zu verringern. Insbesondere berücksichtigen wir, dass der neuronale Stil eines Bildes im Allgemeinen nicht nur durch Nebel, sondern auch durch weitere Faktoren beeinflusst wird. Daher führen wir ein Nebel-Filter-Modul ein, das lernt, einen nebelspezifischen Faktor aus dem Stil zu extrahieren. Durch die abwechselnde Optimierung des Nebel-Filter-Moduls und des Segmentierungsmodells wird schrittweise die Stilunterschiedlichkeit zwischen verschiedenen Nebelbedingungen reduziert, was es ermöglicht, nebelfreie, also invarianten Merkmale zu lernen. Unsere Methode übertrifft die bisherigen Ansätze erheblich auf drei realen Datensätzen mit nebligen Bildern. Zudem verbessert sie die Leistung sowohl auf nebligen als auch auf klarwetterbedingten Bildern, während bestehende Methoden oft die Leistung auf klaren Szenen verschlechtern.