FogAdapt: Selbstüberwachte Domänenanpassung für die semantische Segmentierung von nebligen Bildern

Diese Arbeit präsentiert FogAdapt, einen neuartigen Ansatz zur Domänenanpassung für die semantische Segmentierung in dicht bewölkten Szenen. Obwohl erhebliche Forschungsanstrengungen unternommen wurden, um den Domänenversatz bei der semantischen Segmentierung zu reduzieren, bleibt die Anpassung an Szenen unter ungünstigen Wetterbedingungen ein offenes Problem. Große Schwankungen der Sichtbarkeit aufgrund von Wettereinflüssen wie Nebel, Smog und Haze verstärken den Domänenversatz erheblich und machen somit die unsupervisierte Anpassung in solchen Szenarien besonders herausfordernd. Wir schlagen eine selbst-Entropie- und multiskaleninformationen-erweiterte selbstüberwachte Domänenanpassungsmethode (FogAdapt) vor, um den Domänenversatz bei der Segmentierung von Nebelszenen zu minimieren. Aufgrund empirischer Belege, dass eine Zunahme der Nebeldichte zu einer erhöhten Selbst-Entropie der Segmentierungswahrscheinlichkeiten führt, führen wir eine auf der Selbst-Entropie basierende Verlustfunktion ein, um die Anpassungsmethode zu leiten. Zudem werden Schätzungen verschiedener Bildskalen kombiniert und gewichtet, basierend auf ihrer Unsicherheit, um skaleninvariante Pseudolabels für die Ziel-Domäne zu generieren. Diese skaleninvarianten Pseudolabels sind robust gegenüber Veränderungen der Sichtbarkeit und Skalierung. Wir evaluieren das vorgeschlagene Modell in zwei Szenarien: von realen, klarwetterbedingten Szenen zu realen Nebelszenen sowie von synthetischen, nebelfreien Bildern zu realen Nebelszenen. Unsere Experimente zeigen, dass FogAdapt die derzeitige State-of-the-Art-Methode bei der semantischen Segmentierung von Nebelszenen erheblich übertrifft. Insbesondere ergibt sich bei Standard-Einstellungen im Vergleich zu den aktuell besten Methoden (SOTA) eine Verbesserung um 3,8 % auf Foggy Zurich, 6,0 % auf Foggy Driving-dense und 3,6 % auf Foggy Driving in mIoU, wenn das Modell von Cityscapes auf Foggy Zurich angepasst wird.