Inhaltskonsistente Anpassung für domainspezifische semantische Segmentierung

Diese Arbeit betrachtet die Anpassung der semantischen Segmentierung von einem synthetischen Quellbereich auf einen realen Zielbereich. Im Gegensatz zu den meisten vorherigen Ansätzen, die häufig auf adversarische Domain-Alignment-Lösungen abzielen, nähern wir diese herausfordernde Aufgabe aus einer neuen Perspektive an, nämlich der content-konsistenten Übereinstimmung (CCM). Ziel von CCM ist es, jene synthetischen Bilder zu identifizieren, die eine ähnliche Verteilung wie die realen Bilder im Zielbereich aufweisen, sodass der Domain-Gap durch die Verwendung dieser content-konsistenten synthetischen Bilder für das Training natürlicherweise reduziert wird. Konkret fördern wir die CCM aus zwei Aspekten: der semantischen Layout-Übereinstimmung und der pixelweisen Ähnlichkeitsübereinstimmung. Zunächst verwenden wir alle synthetischen Bilder aus dem Quellbereich, um ein initialen Segmentierungsmodell zu trainieren, das anschließend zur Erzeugung von groben pixelbasierten Etiketten für die unlabeled Bilder im Zielbereich herangezogen wird. Unter Verwendung der groben bzw. genauen Etikettierungskarten für reale und synthetische Bilder konstruieren wir für beide Arten von Bildern semantische Layout-Matrizen in horizontaler und vertikaler Richtung und führen eine Matrix-Übereinstimmung durch, um jene synthetischen Bilder mit ähnlichen semantischen Layouts wie die realen Bilder zu finden. Zweitens wählen wir die vorhergesagten Etiketten mit hoher Zuverlässigkeit aus, um Merkmalsembeddings für alle Klassen im Zielbereich zu generieren, und führen anschließend eine pixelweise Übereinstimmung auf den ausgewählten, layout-konsistenten synthetischen Bildern durch, um äußerlich konsistente Pixel zu extrahieren. Durch die vorgeschlagene CCM werden lediglich jene content-konsistenten synthetischen Bilder für das Lernen des Segmentierungsmodells herangezogen, was die durch content-irrelevante synthetische Bilder verursachte Domain-Verzerrung effektiv verringert. Umfassende Experimente werden auf zwei gängigen Aufgaben der Domain-Adaptation durchgeführt, nämlich GTA5 → Cityscapes und SYNTHIA → Cityscapes. Unser CCM erzielt konsistente Verbesserungen gegenüber den Baselines und schneidet günstig gegenüber früheren State-of-the-Art-Methoden ab.