GEN: Die Grenzen der Softmax-basierten Detektion von Out-of-Distribution-Daten erweitern

Die Erkennung von Daten außerhalb der Verteilung (Out-of-Distribution, OOD) wurde umfassend untersucht, um neuronale Netze erfolgreich einzusetzen, insbesondere für sicherheitskritische Anwendungen. Darüber hinaus ist die Durchführung von OOD-Erkennung auf großskaligen Datensätzen realistischer, stellt aber auch größere Herausforderungen dar. Mehrere Ansätze erfordern entweder Zugriff auf die Trainingsdaten zur Score-Designierung oder setzen Modelle während des Trainings ausgesprochenen Ausreißern aus. Einige post-hoc-Methoden können diese oben genannten Einschränkungen umgehen, sind jedoch weniger wettbewerbsfähig. In dieser Arbeit stellen wir den Generalisierten ENtropie-Score (GEN) vor, eine einfache, aber effektive, auf Entropie basierende Score-Funktion, die auf beliebige vortrainierte Softmax-basierte Klassifizierer angewendet werden kann. Ihre Leistung wird am großen Datensatz ImageNet-1k für OOD-Erkennung demonstriert. GEN verbessert konsistent die durchschnittliche AUROC über sechs gängige CNN-basierte und visuelle Transformer-Klassifizierer im Vergleich zu mehreren state-of-the-art post-hoc-Methoden. Die durchschnittliche Verbesserung der AUROC beträgt mindestens 3,5 %. Darüber hinaus nutzen wir GEN in Kombination mit feature-basierten Verbesserungsmethoden sowie Methoden, die Trainingsstatistiken ausnutzen, um die OOD-Erkennungsleistung weiter zu steigern. Der Quellcode ist unter folgender URL verfügbar: https://github.com/XixiLiu95/GEN.