Kontextbewusste Domänenanpassung in der semantischen Segmentierung

In diesem Artikel betrachten wir das Problem der unsupervisierten Domänenanpassung in der semantischen Segmentierung. In diesem Bereich bestehen zwei zentrale Herausforderungen: Was und wie soll Wissen zwischen zwei Domänen übertragen werden. Bisherige Methoden konzentrieren sich hauptsächlich auf die Anpassung von domäneninvarianten Merkmalen (Was zu übertragen ist) mittels adversariellen Lernverfahren (Wie zu übertragen ist). Der Kontextbezug ist für die semantische Segmentierung von entscheidender Bedeutung, seine Übertragbarkeit ist jedoch weiterhin nicht hinreichend verstanden. Darüber hinaus bleibt unerforscht, wie kontextuelle Informationen zwischen zwei Domänen effektiv übertragen werden können. Ausgehend von diesem Motiv schlagen wir eine auf Selbst-Attention basierende Kreuz-Attention-Mechanismus vor, um Kontextabhängigkeiten zwischen zwei Domänen zu erfassen und übertragbare Kontextinformationen anzupassen. Um dieses Ziel zu erreichen, entwerfen wir zwei domänenübergreifende Aufmerksamkeitsmodule, um Kontextabhängigkeiten sowohl aus räumlicher als auch aus kanalbasierter Perspektive anzupassen. Genauer gesagt erfasst das räumliche Aufmerksamkeitsmodul lokale Merkmalsabhängigkeiten zwischen jeweiligen Positionen in Quell- und Zielbild. Das kanalbasierte Aufmerksamkeitsmodul modelliert semantische Abhängigkeiten zwischen jeweiligen Paaren von domänenübergreifenden Kanalkarten. Um die Anpassung von Kontextabhängigkeiten zu erreichen, aggregieren wir zudem selektiv Kontextinformationen aus beiden Domänen. Die Überlegenheit unseres Ansatzes gegenüber bestehenden State-of-the-Art-Methoden wird empirisch an den Benchmarks „GTA5 zu Cityscapes“ und „SYNTHIA zu Cityscapes“ nachgewiesen.