Semantikbewusste domainspezifische Segmentierung

Tiefen Modelle, die auf einer Quelldomäne trainiert wurden, weisen eine geringe Verallgemeinerungsfähigkeit auf, wenn sie auf bisher unbekannte Zieldomänen mit unterschiedlichen Datensystemen evaluiert werden. Dieses Problem verschärft sich noch weiter, wenn wir keinen Zugriff auf Zieldomänen-Beispiele für eine Anpassung haben. In diesem Paper behandeln wir die domänenverallgemeinernde semantische Segmentierung, bei der ein Segmentierungsmodell so trainiert wird, dass es domäneninvariant ist, ohne jegliche Daten aus der Zieldomäne zu nutzen. Bisherige Ansätze zur Lösung dieses Problems standardisieren die Daten auf eine einheitliche Verteilung. Wir argumentieren, dass diese Standardisierung zwar eine globale Normalisierung fördert, jedoch die resultierenden Merkmale nicht ausreichend diskriminativ sind, um klare Segmentierungsgrenzen zu erzielen. Um die Trennbarkeit zwischen Kategorien zu verbessern und gleichzeitig Domäneninvarianz zu fördern, schlagen wir einen Rahmenwerk mit zwei neuartigen Modulen vor: Semantic-Aware Normalization (SAN) und Semantic-Aware Whitening (SAW). Insbesondere konzentriert sich SAN auf die zentrale Ausrichtung auf Kategorieebene zwischen Merkmalen unterschiedlicher Bildstile, während SAW eine verteilte Ausrichtung für bereits zentral ausgerichtete Merkmale erzwingt. Mit Hilfe von SAN und SAW fördern wir sowohl die intra-kategorische Kompaktheit als auch die inter-kategorische Trennbarkeit. Wir validieren unseren Ansatz durch umfangreiche Experimente auf gängigen Datensätzen (z. B. GTAV, SYNTHIA, Cityscapes, Mapillary und BDDS). Unser Ansatz zeigt signifikante Verbesserungen gegenüber bestehenden State-of-the-Art-Methoden auf verschiedenen Backbone-Netzwerken. Der Quellcode ist unter https://github.com/leolyj/SAN-SAW verfügbar.