DSP: Dual Soft-Paste für unsupervised domain adaptive semantische Segmentierung

Unüberwachte Domänenanpassung (UDA) für die semantische Segmentierung zielt darauf ab, ein auf einem beschrifteten Quelldomänen-Datensatz trainiertes Segmentierungsmodell an eine unbeschriftete Ziel-Domäne anzupassen. Bestehende Methoden bemühen sich, domäneninvariante Merkmale zu lernen, leiden jedoch unter großen Domänenunterschieden, die eine korrekte Ausrichtung diskrepanter Merkmale erschweren, insbesondere in der Anfangsphase des Trainings. Um dieses Problem anzugehen, stellen wir in diesem Artikel eine neuartige Dual Soft-Paste-(DSP)-Methode vor. Konkret wählt DSP mithilfe einer Long-Tail-Klassen-First-Sampling-Strategie bestimmte Klassen aus einem Quelldomänen-Bild aus und fügt die entsprechenden Bildpatches sowohl auf die Quell- als auch die Ziel-Datensatz-Bilder mit einer Fusionsgewichtung weich ein. Technisch wird der Mean-Teacher-Framework für die Domänenanpassung verwendet: Die eingefügten Quell- und Ziel-Bilder durchlaufen das Schüler-Netzwerk, während das ursprüngliche Ziel-Bild durch das Lehrer-Netzwerk verläuft. Auf Ausgabenebene erfolgt die Ausrichtung durch die Anpassung der Wahrscheinlichkeitskarten des zusammengesetzten Ziel-Bildes beider Netzwerke mittels einer gewichteten Kreuzentropie-Verlustfunktion. Zusätzlich wird auf Merkmalsebene die Ausrichtung durch die Anpassung der Merkmalskarten von Quell- und Ziel-Bildern aus dem Schüler-Netzwerk mittels einer gewichteten Maximum-Mean-Discrepancy-Verlustfunktion realisiert. Die DSP-Methode ermöglicht es dem Modell, domäneninvariante Merkmale aus den Zwischendomänen zu lernen, was zu einer schnelleren Konvergenz und einer besseren Leistung führt. Experimente auf zwei anspruchsvollen Benchmark-Datensätzen belegen die Überlegenheit von DSP gegenüber aktuellen State-of-the-Art-Methoden. Der Quellcode ist unter \url{https://github.com/GaoLii/DSP} verfügbar.