Klareres Sehen in der Nacht: Auf dem Weg zu robusten Nachtzeit-Semantischen Segmentierungen durch Tag-Nacht-Bildkonvertierung

Aktuell zeigt die semantische Segmentierung eine bemerkenswerte Effizienz und Zuverlässigkeit in Standard-Szenarien wie Tageszeiten mit günstigen Beleuchtungsbedingungen. Allerdings verliert sie bei ungünstigen Bedingungen, wie der Nachtzeit, erheblich an Genauigkeit. Eine der Hauptursachen für dieses Problem ist der Mangel an ausreichend annotierten Segmentierungsdatensätzen von Nachtszenen. In dieser Arbeit schlagen wir ein Framework vor, um den Genauigkeitsverlust zu mildern, wenn die semantische Segmentierung unter ungünstigen Bedingungen eingesetzt wird, indem wir Generative Adversarial Networks (GANs) verwenden. Um die Tages- und Nachtbild-Domains zu verbinden, haben wir die entscheidende Beobachtung gemacht, dass es im Vergleich zu Datensätzen unter ungünstigen Bedingungen erheblich mehr Segmentierungsdatensätze in Standardbedingungen gibt, wie zum Beispiel BDD und unsere gesammelten ZJU-Datensätze. Unser GAN-basiertes Framework für die semantische Segmentierung von Nachtszenen umfasst zwei Methoden. Bei der ersten Methode werden GANs verwendet, um Nachtbilder in Tagesbilder zu übersetzen, sodass die semantische Segmentierung mit bereits auf Tagesbildern trainierten robusten Modellen durchgeführt werden kann. Bei der zweiten Methode verwenden wir GANs, um verschiedene Anteile von Tagesbildern im Datensatz in Nachtbilder zu übersetzen, wobei diese Bilder ihre Labels behalten. Auf diese Weise können synthetische Nachtdatensätze generiert werden, um Modelle zu erstellen, die auch bei Nacht robust arbeiten können. In unseren Experimenten hat die zweite Methode nachweislich die Leistung bei Nacht signifikant verbessert, was durch quantitative Ergebnisse mittels des Overlap-Verhältnisses (Intersection over Union, IoU) und der Pixelgenauigkeit (Pixel Accuracy, Acc) belegt wird. Wir zeigen außerdem, dass sich die Leistung je nach Anteil synthetischer Nachtbilder im Datensatz unterscheidet und dass das optimale Verhältnis zur besten Leistung über Tag und Nacht hinweg führt.