Ein genauer Blick auf den Domänenwechsel: Kategorieebene Gegner für semantisch konsistente Domänenanpassung

Wir betrachten das Problem der unüberwachten Domänenanpassung (unsupervised domain adaptation) in der semantischen Segmentierung. Der Schlüssel bei diesem Ansatz besteht darin, den Domänenverschiebung zu reduzieren, d.h., die Datenverteilungen der beiden Domänen ähnlich zu gestalten. Eine weit verbreitete Strategie ist es, durch adversariales Lernen die Randverteilung im Merkmalsraum auszurichten. Allerdings berücksichtigt diese globale Ausrichtungsstrategie nicht die lokale Kategorieebenen-Merkmalsverteilung. Ein möglicher Nachteil dieser globalen Anpassung ist, dass einige Kategorien, die ursprünglich zwischen Quelle und Ziel gut ausgerichtet waren, falsch zugeordnet werden können. Um dieses Problem zu lösen, stellt dieser Artikel ein kategoriebasiertes adversariales Netzwerk vor, das während des Prozesses der globalen Ausrichtung lokale semantische Konsistenz sicherstellen soll. Unsere Idee besteht darin, sich genauer mit der Kategorieebenen-Datenverteilung zu befassen und jede Klasse mit einem adaptiven adversarialen Verlust auszurichten. Insbesondere verringern wir das Gewicht des adversarialen Verlusts für kategoriebasiert gut ausgerichtete Merkmale, während wir die adversariale Kraft für schlecht ausgerichtete Merkmale erhöhen. In diesem Prozess bestimmen wir durch einen Co-Training-Ansatz, wie gut ein Merkmal auf Kategorieebene zwischen Quelle und Ziel ausgerichtet ist. In zwei Domänenanpassungsaufgaben, nämlich GTA5 -> Cityscapes und SYNTHIA -> Cityscapes, validieren wir, dass das vorgeschlagene Verfahren dem aktuellen Stand der Technik (state of the art) in Bezug auf die Segmentierungsgenauigkeit entspricht.