Domain Adaptation für strukturierte Ausgaben durch diskriminative Patch-Repräsentationen

Die Vorhersage strukturierter Ausgaben wie semantischer Segmentierung basiert auf kostspieligen Pixel-Annotations, um überwachte Modelle wie Faltungsneuronale Netze zu trainieren. Allerdings verallgemeinern Modelle, die auf einem Datendomänen trainiert wurden, möglicherweise nicht gut auf andere Domänen ohne Annotationen für das Feinjustieren des Modells. Um den arbeitsintensiven Prozess der Annotation zu vermeiden, entwickeln wir eine Domänenanpassungsmethode, um die Quelldaten an das nicht annotierte Ziel-Datendomäne anzupassen. Wir schlagen vor, diskriminative Merkmalsrepräsentationen von Patchs im Quell-Datendomäne durch die Entdeckung mehrerer Modi der Patch-ausgabeverteilung mittels der Konstruktion eines Clusterraums zu lernen. Mit diesen Repräsentationen als Leitfaden verwenden wir ein adversariales Lernschema, um die Merkmalsrepräsentationen der Ziel-Patchs im Clusterraum näher an die Verteilungen der Quell-Patchs heranzuführen. Darüber hinaus zeigen wir, dass unser Framework ergänzend zu bestehenden Domänenanpassungstechniken ist und konsistente Verbesserungen bei der semantischen Segmentierung erzielt. Ausführliche Abstraktionen und Ergebnisse werden an zahlreichen Benchmark-Datensätzen unter verschiedenen Einstellungen demonstriert, wie beispielsweise synthetisch-reale und interstädtische Szenarien (synthetic-to-real and cross-city scenarios).