Adversariale Stilverstärkung für domainspezifisch generalisierte Segmentierung von städtischen Szenen

In diesem Artikel betrachten wir das Problem der Domänenverallgemeinerung im Bereich der semantischen Segmentierung, das darauf abzielt, ein robustes Modell ausschließlich anhand beschrifteter synthetischer (Quell-)Daten zu lernen. Das Modell soll anschließend gut auf bisher nicht gesehene reale (Ziel-)Domänen generalisieren. Unsere Studie zeigt, dass die Variation des Bildstils die Leistung des Modells erheblich beeinflussen kann und dass Stilmerkmale effektiv durch den kanalweisen Mittelwert und die Standardabweichung von Bildern repräsentiert werden können. Inspiriert durch diese Erkenntnis schlagen wir einen neuen Ansatz namens adversariale Stilverstärkung (AdvStyle) vor, der während des Trainings dynamisch anspruchsvolle stilisierte Bilder generiert und somit effektiv verhindert, dass das Modell übermäßig auf die Quelldomäne überanpasst. Konkret betrachten wir die Stilmerkmale als lernbare Parameter und aktualisieren sie mittels adversariellen Trainings. Das erlernte adversarielle Stilmerkmal wird dann genutzt, um ein adversarialsches Bild zur robusten Modelltrainierung zu konstruieren. AdvStyle ist einfach zu implementieren und kann problemlos auf verschiedene Modelle angewendet werden. Experimente an zwei Benchmarks für die Übertragung von synthetischen auf reale semantische Segmentierung belegen, dass AdvStyle die Modellleistung auf bisher unbekannten realen Domänen signifikant verbessert und dass der Stand der Technik erreicht oder sogar übertroffen wird. Zudem lässt sich AdvStyle auch für die domänenverallgemeinernde Bildklassifikation einsetzen und führt auf den untersuchten Datensätzen zu einer deutlichen Leistungssteigerung.