Eine Referenzlinie zur Erkennung von fehlerhaft klassifizierten und außerhalb der Verteilung liegenden Beispielen in neuronalen Netzen

Wir betrachten die zwei verwandten Probleme der Erkennung, ob ein Beispiel fehlerhaft klassifiziert oder außerhalb der Verteilung liegt. Wir stellen eine einfache Baseline vor, die Wahrscheinlichkeiten aus Softmax-Verteilungen nutzt. Richtig klassifizierte Beispiele neigen dazu, höhere maximale Softmax-Wahrscheinlichkeiten aufzuweisen als fehlerhaft klassifizierte und außerhalb der Verteilung liegende Beispiele, was ihre Erkennung ermöglicht. Die Leistung wird durch die Definition mehrerer Aufgaben im Bereich Computer Vision, Natural Language Processing (NLP) und Automatic Speech Recognition (ASR) bewertet, wobei wir die Effektivität dieser Baseline in allen Bereichen zeigen. Anschließend demonstrieren wir, dass die Baseline manchmal übertroffen werden kann, was den Raum für zukünftige Forschung zu diesen wenig erforschten Erkennungsaufgaben aufzeigt.