Was gibt es im Dunkeln

Szenenparsung ist ein zentraler Bestandteil moderner autonome Fahrsysteme. Die meisten Arbeiten im Bereich der semantischen Segmentierung konzentrieren sich auf Tageszeitszenen unter günstigen Wetter- und Beleuchtungsbedingungen. In diesem Artikel stellen wir eine neuartige tiefe Architektur, NiSeNet, vor, die die semantische Segmentierung von Nachtszenen mittels eines Domain-Mapping-Ansatzes von synthetischen zu realen Daten durchführt. Es handelt sich um ein Dual-Channel-Netzwerk, bei dem wir einen Real-Channel mit DeepLabV3+ und einer MSE-Verlustfunktion entworfen haben, um räumliche Informationen zu bewahren. Zusätzlich wurde ein Adaptive-Channel eingesetzt, der die Domänenlücke zwischen synthetischen und realen Nachtszenen verringert und gleichzeitig die Ausgaben des Real-Channel-Moduls kompensiert, falls diese fehlerhaft sind. Neben dem Dual-Channel-Ansatz haben wir zudem ein neuartiges Fusionsverfahren eingeführt, um die Ausgaben beider Kanäle zu kombinieren. Darüber hinaus haben wir eine neue Datensammlung, das Urban Night Driving Dataset (UNDD), zusammengestellt, die aus 7.125 unbeschrifteten Tages- und Nachtszenen sowie 75 pixelgenauen annotierten Nachtszenen mit Klassen, die denjenigen des Cityscapes-Datensatzes entsprechen, besteht. Wir haben unsere Methode anhand der Berkeley Deep Drive-Datenbank, des anspruchsvollen Mapillary-Datensatzes und des UNDD-Datensatzes evaluiert und zeigen damit, dass das vorgeschlagene Verfahren die derzeitigen State-of-the-Art-Techniken hinsichtlich Genauigkeit und visueller Qualität übertrifft.