Geführte Anpassung des Curriculums und unsicherheitsbewusste Bewertung für semantische Nachtbildsegmentierung
Die meisten Fortschritte im Bereich der semantischen Segmentierung beziehen sich auf Tagesbilder, die unter günstigen Beleuchtungsbedingungen aufgenommen wurden. Wir widmen uns hingegen dem Problem der semantischen Segmentierung von Nachtbildern und verbessern den Stand der Technik, indem wir Tagesmodelle an die Nacht anpassen, ohne dabei Nachtdaten zu annotieren. Darüber hinaus entwickeln wir ein neues Evaluierungsframework, um die erhebliche Unsicherheit der Semantik in Nachtbildern zu berücksichtigen. Unsere zentralen Beiträge sind:Ein Curriculum-Framework zur schrittweisen Anpassung von Modellen für die semantische Segmentierung von Tag zu Nacht durch beschriftete synthetische Bilder und unbeschriftete reale Bilder, sowohl für zunehmend dunklere Zeiten des Tages. Dieses Framework nutzt zeitliche Korrespondenzen zwischen den realen Bildern aus, um ihre Beschriftung zu leiten.Ein neuartiges unsicherheitsbewusstes Annotation- und Evaluierungsframework sowie eine Metrik für die semantische Segmentierung, die für schwierige Bedingungen konzipiert ist und bildliche Bereiche jenseits menschlicher Erkennungsfähigkeiten in einer fundierten Weise in die Bewertung einbezieht.Der Dark Zurich Datensatz, der 2416 unbeschriftete Nachtbilder und 2920 unbeschriftete Dämmerungsbilder enthält, welche mit ihren entsprechenden Tagesbildern verknüpft sind, sowie eine Reihe von 151 Nachtbildern mit fein granularen Pixel-Beschriftungen, erstellt nach unserem Protokoll. Diese Daten dienen als erster Benchmark zur Durchführung unserer neuen Evaluierung.Experimente zeigen, dass unsere geleitete Curriculum-Anpassung erheblich bessere Ergebnisse als Methoden des aktuellen Standes der Technik auf echten Nachtdatensätzen liefert, sowohl bei Standardmetriken als auch bei unserer unsicherheitsbewussten Metrik. Zudem offenbart unsere unsicherheitsbewusste Evaluierung, dass die selektive Annullierung von Vorhersagen zu besseren Ergebnissen führen kann bei Daten mit ambivalentem Inhalt wie unserem Nachtbenchmark und Vorteile für sicherheitsorientierte Anwendungen bietet, die ungültige Eingaben betreffen.