Gleichzeitige Fehlklassifizierungserkennung und Out-of-Distribution-Erkennung für die semantische Segmentierung mittels energiebasierter Normalisierungsflüsse

Aktuelle semantische Segmentierungsmodelle klassifizieren Testzeitbeispiele, die der Verteilung des Trainingsdatensatzes ähneln, genau. Ihre diskriminative, geschlossene-Set-Annäherung ist jedoch in praktischen Datenszenarien mit Verteilungsverschiebungen und außerhalb der Trainingsverteilung liegenden (OOD) Klassen nicht robust. Folglich können die vorhergesagten Wahrscheinlichkeiten als Vertrauenswerte zur Testzeit sehr ungenau sein. Um dies zu beheben, schlagen wir ein generatives Modell zur gleichzeitigen Erkennung von In-Distribution-Fehlklassifikationen (IDM) und OOD-Detektion vor, das auf einem Normalisierungsfluss-Rahmenwerk basiert. Der vorgeschlagene flussbasierte Detektor mit energiebasierten Eingaben (FlowEneDet) kann bestehende Segmentierungsmodelle erweitern, ohne deren zeitaufwändige Neuausrichtung zu erfordern. FlowEneDet zeichnet sich durch eine geringe Komplexität und nur geringfügig erhöhten Speicherbedarf aus. Bei der Anwendung auf vortrainierte DeepLabV3+- und SegFormer-Semantiksegmentierungsmodelle erzielt FlowEneDet vielversprechende Ergebnisse auf den Benchmarks Cityscapes, Cityscapes-C, FishyScapes und SegmentMeIfYouCan in Bezug auf IDM/OOD-Detektion.