VBLC: Visibility Boosting and Logit-Constraint Learning for Domain Adaptive Semantic Segmentation under Adverse Conditions

Die Verallgemeinerung von Modellen, die unter normalen visuellen Bedingungen trainiert wurden, auf Zielbereiche unter ungünstigen Bedingungen stellt eine große Herausforderung für praktische Systeme dar. Eine verbreitete Lösung besteht darin, die Domänenlücke zwischen klaren und ungünstigen Bedingungen zu schließen, um präzise Vorhersagen im Zielbereich zu ermöglichen. Bisherige Ansätze setzen jedoch häufig auf zusätzliche Referenzbilder derselben Szenen unter normalen Bedingungen, die in der Realität oft schwer zu beschaffen sind. Darüber hinaus konzentrieren sich die meisten dieser Methoden auf einzelne ungünstige Bedingungen wie Nacht oder Nebel, wodurch ihre Robustheit und Vielseitigkeit leidet, wenn andere ungünstige Wetterbedingungen auftreten. Um diese Einschränkungen zu überwinden, schlagen wir einen neuartigen Ansatz namens Visibility Boosting and Logit-Constraint Learning (VBLC) vor, der speziell für eine verbesserte Anpassung von normalen zu ungünstigen Bedingungen konzipiert ist. VBLC eröffnet die Möglichkeit, auf Referenzbilder zu verzichten und gleichzeitig eine Kombination verschiedener ungünstiger Bedingungen zu bewältigen. Genauer gesagt führen wir zunächst einen Visibility-Boost-Modul ein, der Zielbilder dynamisch über bestimmte Bildvorkenntnisse verbessert. Anschließend identifizieren wir das Problem der Überzuversichtlichkeit im klassischen Kreuzentropieverlust bei Selbsttrainingsmethoden und entwickeln den Logit-Constraint-Learning-Ansatz, der während des Trainings eine Einschränkung auf die Logit-Ausgaben ausübt, um dieses Problem zu mildern. Soweit uns bekannt ist, stellt dies einen völlig neuen Ansatz für die Bewältigung dieser anspruchsvollen Aufgabe dar. Umfassende Experimente auf zwei Benchmarks für die Anpassung von normalen zu ungünstigen Domänen – nämlich Cityscapes → ACDC und Cityscapes → FoggyCityscapes + RainCityscapes – bestätigen die Wirksamkeit von VBLC, bei dem das Verfahren die bisher beste Leistung erzielt. Der Quellcode ist unter https://github.com/BIT-DA/VBLC verfügbar.