Multi-Source-Domain-Adaptation für die semantische Segmentierung

Die Simulation-zu-Real-Domänenanpassung für die semantische Segmentierung wird aktiv für diverse Anwendungen wie autonomes Fahren erforscht. Bisherige Methoden konzentrieren sich hauptsächlich auf den Einzelquellensetting, der sich nicht leicht auf praktischere Szenarien mit mehreren Quellen unter unterschiedlichen Verteilungen übertragen lässt. In diesem Paper untersuchen wir daher die Mehrquellen-Domänenanpassung für die semantische Segmentierung. Konkret entwerfen wir einen neuen Ansatz, den sogenannten Multi-source Adversarial Domain Aggregation Network (MADAN), der end-to-end trainierbar ist. Zunächst generieren wir für jede Quelle eine angepasste Domäne mit dynamischer semantischer Konsistenz, wobei gleichzeitig eine pixelgenaue, zyklisch konsistente Ausrichtung gegenüber der Ziel-Domäne erfolgt. Anschließend schlagen wir einen Sub-Domänen-Aggregations-Discriminator und einen Cross-Domain-Zyklus-Discriminator vor, um die verschiedenen angepassten Domänen enger zu aggregieren. Schließlich wird eine Merkmalslevel-Alignment zwischen der aggregierten Domäne und der Ziel-Domäne durchgeführt, während das Segmentierungsnetzwerk trainiert wird. Umfangreiche Experimente von synthetischen Datensätzen wie GTA und SYNTHIA hin zu realen Datensätzen wie Cityscapes und BDDS zeigen, dass das vorgeschlagene MADAN-Modell die derzeit besten Ansätze übertrifft. Der Quellcode ist unter folgender URL verfügbar: https://github.com/Luodian/MADAN.