DANNet: Ein einstufiges Domain-Adaptations-Netzwerk für semantisches Segmentieren bei Nacht ohne Überwachung

Die semantische Segmentierung von Nachtaufnahmen spielt im autonomen Fahren eine ebenso wichtige Rolle wie die Segmentierung von Tagsaufnahmen, ist jedoch aufgrund schlechter Beleuchtungsverhältnisse und aufwendiger menschlicher Annotationen erheblich herausfordernder. In diesem Artikel stellen wir ein neuartiges Domänenanpassungsnetzwerk (DANNet) für die semantische Segmentierung nachts ohne Verwendung annotierter Nachtaufnahmen vor. Es nutzt ein adversariales Trainingsverfahren mit einem annotierten Tagsdatensatz und einem ungekennzeichneten Datensatz, der grob alignierte Tags-Nachts-Bildpaare enthält. Konkret verwenden wir für die ungekennzeichneten Tags-Nachts-Bildpaare die pixelgenauen Vorhersagen statischer Objektkategorien auf einer Tagsaufnahme als sogenannte Pseudolabels zur Segmentierung des entsprechenden Nachtaufnahmen. Außerdem entwickeln wir eine Neugewichtungsstrategie, um die Ungenauigkeiten zu behandeln, die durch die Ungenauigkeit der Alignierung zwischen Tags- und Nachtaufnahmen sowie durch fehlerhafte Vorhersagen auf Tagsaufnahmen entstehen, sowie die Genauigkeit der Segmentierung kleiner Objekte zu verbessern. Das vorgeschlagene DANNet ist das erste einstufige Anpassungsframework für die semantische Segmentierung nachts, das keine zusätzlichen Tags-Nachts-Übertragungsmodelle als separaten Vorverarbeitungsschritt erfordert. Umfangreiche Experimente auf den Datensätzen Dark Zurich und Nighttime Driving zeigen, dass unsere Methode eine state-of-the-art-Leistung für die semantische Segmentierung nachts erreicht.