Etikettengetriebene Rekonstruktion für Domain-Adaptation bei der semantischen Segmentierung

Unüberwachte Domänenanpassung ermöglicht es, den Bedarf an pixelgenauen Annotationen bei der semantischen Segmentierung zu verringern. Eine der gängigsten Strategien besteht darin, Bilder aus der Quell- in die Zieldomäne zu transformieren und anschließend ihre marginalen Verteilungen im Merkmalsraum mittels adversarieller Lernverfahren zu alignen. Allerdings vergrößert die Quell-zu-Ziel-Transformation die Verzerrung in den transformierten Bildern und führt aufgrund der überwiegend größeren Datenmenge der Quelldomäne zu zusätzlichen Berechnungskosten. Zudem kann die Konsistenz der gemeinsamen Verteilung zwischen Quell- und Zieldomäne durch eine globale Merkmalsalignment nicht garantiert werden. In diesem Beitrag präsentieren wir einen innovativen Ansatz, der darauf abzielt, die Bildtransformationsschiefe zu reduzieren und Merkmale aus verschiedenen Domänen mit derselben Kategorie zu alignen. Dies wird erreicht durch (1) die Ziel-zu-Quell-Transformation und (2) die Rekonstruktion sowohl der Quell- als auch der Zielbilder aus ihren vorhergesagten Labels. Ausführliche Experimente zur Anpassung von synthetischen zu realen städtischen Szenen zeigen, dass unser Framework gegenüber bestehenden State-of-the-Art-Methoden wettbewerbsfähig ist.