Kartenbasierte Curriculum-Domänenanpassung und unsicherheitsbewusste Bewertung für die semantische Segmentierung von Nachtaufnahmen

Wir behandeln das Problem der semantischen Segmentierung von Nachtaufnahmen und verbessern den Stand der Technik, indem wir Tags von Tageszeitmodellen auf die Nacht übertragen, ohne Nachtannotierungen zu verwenden. Darüber hinaus entwickeln wir einen neuen Evaluierungsrahmen, um die erhebliche Unsicherheit der Semantik in Nachtaufnahmen angemessen zu berücksichtigen. Unsere zentralen Beiträge sind: 1) ein Curriculum-Framework zur schrittweisen Anpassung semantischer Segmentierungsmodelle von Tag zu Nacht durch progressive Dunkelheit im Tagesverlauf, wobei Kreuzzuordnungen zwischen Tags von Tagesaufnahmen aus einer Referenzkarte und dunklen Bildern genutzt werden, um die Label-Inferenz in dunklen Domänen zu leiten; 2) ein neuartiger unsicherheitsbewusster Annotierungs- und Evaluierungsrahmen sowie eine Metrik für die semantische Segmentierung, die Bildbereiche, die jenseits der menschlichen Wahrnehmungsfähigkeit liegen, in einer konsistenten Weise in die Evaluation einbezieht; 3) das Dark Zurich-Datenset, bestehend aus 2416 unbeschrifteten Nachtaufnahmen und 2920 unbeschrifteten Dämmerungsaufnahmen mit Korrespondenzen zu ihren Tagesentsprechungen sowie einer Sammlung von 201 Nachtaufnahmen mit feinpixeligen Annotationen, die gemäß unserem Protokoll erstellt wurden, und das als erstes Benchmark für unseren neuartigen Evaluierungsansatz dient. Experimente zeigen, dass unsere kartenbasierte Curriculum-Anpassung sowohl hinsichtlich herkömmlicher Metriken als auch unserer unsicherheitsbewussten Metrik signifikant die bisher besten Methoden auf Nachtaufnahmen übertrifft. Zudem zeigt unsere unsicherheitsbewusste Evaluation, dass die selektive Invalidation von Vorhersagen die Ergebnisse bei daten mit mehrdeutigem Inhalt, wie unserem Benchmark, verbessern kann und insbesondere sicherheitskritische Anwendungen, die mit ungültigen Eingaben umgehen müssen, profitieren lässt.