GPS-GLASS: Lernen der Nachtzeit-Semantischen Segmentierung unter Verwendung von Tageszeit-Videos und GPS-Daten

Semantische Segmentierung für autonome Fahrzeuge sollte robust gegenüber verschiedenen realen Umgebungen sein. Die semantische Segmentierung bei Nacht ist besonders herausfordernd aufgrund des Mangels an annotierten Nachtaufnahmen und der großen Domänenlücke zwischen ausreichend annotierten Tagesaufnahmen und Nachtaufnahmen. In dieser Arbeit schlagen wir ein neuartiges GPS-basiertes Trainingsframework für die semantische Segmentierung bei Nacht vor. Unter Verwendung von GPS-alingierten Paaren von Tages- und Nachtaufnahmen führen wir eine Cross-Domänen-Korrespondenzabgleichung durch, um pseudosupervision auf Pixel-Ebene zu erhalten. Darüber hinaus führen wir eine Flussabschätzung zwischen den Bildern von Tagesszenen durch und wenden eine GPS-basierte Skalierung an, um eine weitere pseudosupervision auf Pixel-Ebene zu erlangen. Mit diesen pseudosupervisionsdaten und einer Konfidenzkarte trainieren wir ein Netzwerk für die semantische Segmentierung bei Nacht, ohne irgendeine Annotation von Nachtaufnahmen zu benötigen. Experimentelle Ergebnisse zeigen die Effektivität der vorgeschlagenen Methode in mehreren Datensätzen zur semantischen Segmentierung bei Nacht. Unser Quellcode ist unter https://github.com/jimmy9704/GPS-GLASS verfügbar.