In oder Out? Bildverbesserung der Out-of-Distribution-Evaluierung auf ImageNet

Die Erkennung von außerhalb der Verteilung liegenden (out-of-distribution, OOD) Eingaben befasst sich mit der Identifizierung von Eingaben, die im Zusammenhang mit der in-distribution (ID)-Aufgabe nicht relevant sind. Die OOD-Erkennungsleistung bei einer ID-Verteilung von ImageNet-1K wird üblicherweise an einer kleinen Anzahl von Test-ODD-Datensätzen evaluiert. Wir stellen fest, dass die derzeit häufig verwendeten Test-ODD-Datensätze – einschließlich solcher aus der Literatur zum offenen Mengenerkennungsproblem (open set recognition, OSR) – gravierende Probleme aufweisen: In einigen Fällen enthält mehr als 50 % des Datensatzes Objekte, die einer der ID-Klassen angehören. Diese fehlerhaften Beispiele verzerren die Bewertung von OOD-Detektoren erheblich. Als Lösung stellen wir NINCO vor – einen neuartigen Test-ODD-Datensatz, bei dem jedes einzelne Beispiel auf ID-freie Inhalte überprüft wurde. Dank seines fein abgestuften Spektrums an OOD-Klassen ermöglicht NINCO eine detaillierte Analyse der Stärken und Fehlermuster von OOD-Detektoren, insbesondere dann, wenn er in Kombination mit einer Reihe synthetischer „OOD-Einheitstests“ verwendet wird. Wir präsentieren umfassende Evaluierungen über eine große Anzahl von Architekturen und OOD-Erkennungsmethoden auf NINCO sowie den Einheitstests, wodurch neue Erkenntnisse über Modellschwächen und die Auswirkungen von Vortrainingsprozessen auf die OOD-Erkennungsleistung gewonnen werden. Die zugrundeliegenden Code- und Datensätze sind unter https://github.com/j-cb/NINCO verfügbar.