Klassen zählen: Ein fein granularer adversarialer Ansatz für die cross-domain semantische Segmentierung

Trotz erheblicher Fortschritte bei der überwachten semantischen Segmentierung tritt typischerweise ein erheblicher Leistungsabfall auf, wenn das Modell in der realen Welt eingesetzt wird. Domain-Adaptationsmethoden adressieren dieses Problem durch die Ausrichtung der Quell- und Ziel-Domäne. Allerdings versuchen die meisten bestehenden Ansätze, diese Ausrichtung aus einer globalen Perspektive heraus durchzuführen und ignorieren dabei die zugrundeliegende klassenbasierte Datenstruktur in der Ziel-Domäne. Um die Supervision in der Quell-Domäne vollständig auszunutzen, schlagen wir eine feinabgestimmte adversarielle Lernstrategie zur klassenbasierten Merkmalsausrichtung vor, wobei die interne semantische Struktur über die Domänen hinweg erhalten bleibt. Wir verwenden einen feinabgestimmten Domänen-Discriminator, der nicht nur als Domänenunterscheider fungiert, sondern auch zwischen Domänen auf Klassen-Ebene unterscheidet. Die traditionellen binären Domänen-Labels werden zudem verallgemeinert zu Domänen-Codierungen, die als Supervisions-Signal zur Leitung der feinabgestimmten Merkmalsausrichtung dienen. Eine Analyse mittels Class Center Distance (CCD) bestätigt, dass unsere feinabgestimmte adversarielle Strategie eine bessere klassenbasierte Ausrichtung im Vergleich zu anderen state-of-the-art-Methoden erreicht. Unser Ansatz ist einfach zu implementieren und seine Wirksamkeit wurde an drei klassischen Aufgaben der Domain-Adaptation evaluiert, nämlich GTA5 zu Cityscapes, SYNTHIA zu Cityscapes und Cityscapes zu Cross-City. Die erzielten erheblichen Leistungssteigerungen zeigen, dass unsere Methode andere Ansätze, die auf globaler Merkmalsausrichtung oder klassenweise Ausrichtung basieren, übertrifft. Der Quellcode ist öffentlich unter https://github.com/JDAI-CV/FADA verfügbar.