Domain Randomization und Pyramidenkonsistenz: Simulations-zu-Real-Generalisierung ohne Zugriff auf Zielbereichsdaten

Wir schlagen vor, das Potenzial der Simulation für die semantische Segmentierung von realen Szenen im Bereich autonomer Fahrzeuge in einer domänenübergreifenden Weise zu nutzen. Das Segmentierungsnetzwerk wird ohne Daten der Zielbereiche trainiert und anschließend auf unbekannten Zielbereichen getestet. Zu diesem Zweck entwickeln wir einen neuen Ansatz der Domänenrandomisierung und Pyramidenkonsistenz, um ein Modell mit hoher Generalisierungsfähigkeit zu erlernen. Zunächst schlagen wir vor, synthetische Bilder hinsichtlich ihrer visuellen Erscheinung mit den Stilen realer Bilder unter Verwendung von Hilfsdatensätzen zu randomisieren, um effektiv domäneninvariante Repräsentationen zu lernen. Zweitens setzen wir Pyramidenkonsistenz sowohl zwischen verschiedenen "gestylten" Bildern als auch innerhalb eines Bildes durch, um domäneninvariante und skaleninvariante Merkmale zu erlernen. Ausführliche Experimente wurden durchgeführt zur Generalisierung von GTA und SYNTHIA auf Cityscapes, BDDS und Mapillary; unsere Methode erzielt überlegene Ergebnisse im Vergleich zu den Stand-der-Technik-Verfahren. Bemerkenswerterweise sind unsere Generalisierungsergebnisse vergleichbar oder sogar besser als jene, die durch aktuelle Methoden der Simulations-zu-Real-Domänenanpassung (Simulation-to-real domain adaptation) erzielt werden, die während des Trainings auf Daten der Zielbereiche zugreifen.