Command Palette
Search for a command to run...
Klassen zählen: Ein fein granularer adversarialer Ansatz für die cross-domain semantische Segmentierung
Klassen zählen: Ein fein granularer adversarialer Ansatz für die cross-domain semantische Segmentierung
Haoran Wang Tong Shen Wei Zhang Lingyu Duan Tao Mei
Zusammenfassung
Trotz erheblicher Fortschritte bei der überwachten semantischen Segmentierung tritt typischerweise ein erheblicher Leistungsabfall auf, wenn das Modell in der realen Welt eingesetzt wird. Domain-Adaptationsmethoden adressieren dieses Problem durch die Ausrichtung der Quell- und Ziel-Domäne. Allerdings versuchen die meisten bestehenden Ansätze, diese Ausrichtung aus einer globalen Perspektive heraus durchzuführen und ignorieren dabei die zugrundeliegende klassenbasierte Datenstruktur in der Ziel-Domäne. Um die Supervision in der Quell-Domäne vollständig auszunutzen, schlagen wir eine feinabgestimmte adversarielle Lernstrategie zur klassenbasierten Merkmalsausrichtung vor, wobei die interne semantische Struktur über die Domänen hinweg erhalten bleibt. Wir verwenden einen feinabgestimmten Domänen-Discriminator, der nicht nur als Domänenunterscheider fungiert, sondern auch zwischen Domänen auf Klassen-Ebene unterscheidet. Die traditionellen binären Domänen-Labels werden zudem verallgemeinert zu Domänen-Codierungen, die als Supervisions-Signal zur Leitung der feinabgestimmten Merkmalsausrichtung dienen. Eine Analyse mittels Class Center Distance (CCD) bestätigt, dass unsere feinabgestimmte adversarielle Strategie eine bessere klassenbasierte Ausrichtung im Vergleich zu anderen state-of-the-art-Methoden erreicht. Unser Ansatz ist einfach zu implementieren und seine Wirksamkeit wurde an drei klassischen Aufgaben der Domain-Adaptation evaluiert, nämlich GTA5 zu Cityscapes, SYNTHIA zu Cityscapes und Cityscapes zu Cross-City. Die erzielten erheblichen Leistungssteigerungen zeigen, dass unsere Methode andere Ansätze, die auf globaler Merkmalsausrichtung oder klassenweise Ausrichtung basieren, übertrifft. Der Quellcode ist öffentlich unter https://github.com/JDAI-CV/FADA verfügbar.