Residuale Musterlernung für pixelweise Out-of-Distribution-Detektion in der Semantischen Segmentierung

Semantische Segmentierungsmodelle klassifizieren Pixel in eine Menge bekannter („in-distribution“) visueller Klassen. Bei der Anwendung in einer offenen Welt hängt die Zuverlässigkeit dieser Modelle davon ab, nicht nur In-Distribution-Pixel korrekt zu klassifizieren, sondern auch Out-of-Distribution (OoD)-Pixel zu detektieren. Historisch gesehen hat die schlechte OoD-Detektionsleistung dieser Modelle die Entwicklung von Methoden angeregt, die auf einer Neutrainierung mit synthetischen Trainingsbildern basieren, die OoD-Objekte enthalten. Obwohl diese Neutrainierungsansätze erfolgreich sind, weisen sie zwei wesentliche Probleme auf: Erstens kann die Segmentierungsgenauigkeit für In-Distribution-Pixel während des Neutrainings abnehmen; zweitens generalisiert die OoD-Detektionsgenauigkeit nicht gut auf neue Kontexte (z. B. ländliche Umgebung) außerhalb des Trainingsdatensatzes (z. B. städtische Umgebung). In diesem Paper lösen wir diese Probleme durch: (i) ein neuartiges Residual Pattern Learning (RPL)-Modul, das dem Segmentierungsmodell hilft, OoD-Pixel zu erkennen, ohne die Leistung bei der Inlier-Segmentierung zu beeinträchtigen; und (ii) eine innovative, kontextrobuste kontrastive Lernmethode (CoroCL), die das RPL-Modul dazu zwingt, OoD-Pixel robust über verschiedene Kontexte hinweg zu erkennen. Unser Ansatz verbessert die vorherige State-of-the-Art-Leistung in den Datensätzen Fishyscapes, Segment-Me-If-You-Can und RoadAnomaly um etwa 10 % im FPR und 7 % im AuPRC. Der Quellcode ist unter folgender Adresse verfügbar: https://github.com/yyliu01/RPL.