Open-Set Recognition: Braucht man wirklich nur einen guten Closed-Set-Classifier?

Die Fähigkeit, zu erkennen, ob eine Testprobe einer der semantischen Klassen in der Trainingsmenge eines Klassifikators angehört, ist entscheidend für die praktische Anwendung des Modells. Diese Aufgabe wird als Open-Set-Recognition (OSR) bezeichnet und hat in den letzten Jahren erhebliche Aufmerksamkeit erhalten. In diesem Artikel zeigen wir zunächst, dass die Fähigkeit eines Klassifikators, eine „keine der oben genannten“-Entscheidung zu treffen, stark mit seiner Genauigkeit auf den geschlossenen Klassen korreliert. Diese Beziehung lässt sich sowohl für verschiedene Verlustfunktionen als auch für unterschiedliche Architekturen nachweisen und wird sowohl auf etablierten OSR-Benchmarks als auch auf einer großskaligen ImageNet-Evaluation bestätigt. Zweitens nutzen wir diese Korrelation, um die Leistung eines Maximum-Logit-Score-OSR-„Baselines“ durch Verbesserung der Genauigkeit auf den geschlossenen Klassen zu steigern, wodurch wir auf mehreren OSR-Benchmarks den Stand der Technik erreichen. Ebenso steigern wir die Leistung des bestehenden State-of-the-Art-Verfahrens durch Verbesserung der geschlossenen Klassifikationsgenauigkeit, wobei sich jedoch nur eine geringfügige Differenz gegenüber der starken Baseline ergibt. Unser dritter Beitrag besteht in der Einführung des „Semantic Shift Benchmark“ (SSB), der die Aufgabe der Erkennung semantischer Neuheit besser widerspiegelt als andere Formen von Verteilungsverschiebung, wie sie in verwandten Teilgebieten, beispielsweise der Out-of-Distribution-Erkennung, betrachtet werden. Auf dieser neuen Evaluierung zeigen wir erneut, dass zwischen der starken Baseline und dem bestehenden State-of-the-Art nur eine vernachlässigbare Differenz besteht. Projektseite: https://www.robots.ox.ac.uk/~vgg/research/osr/