Erkennung von Out-of-Distribution-Beispielen mit In-distribution-Beispielen und Gram-Matrizen

Bei der Präsentation von außerhalb der Verteilung liegenden (Out-of-Distribution, OOD) Beispielen liefern tiefe neuronale Netze zuverlässige, jedoch falsche Vorhersagen. Die Erkennung von OOD-Beispielen ist herausfordernd, und die potenziellen Risiken sind hoch. In diesem Paper schlagen wir vor, OOD-Beispiele zu erkennen, indem Inkonsistenzen zwischen Aktivitätsmustern und vorhergesagten Klassen identifiziert werden. Wir stellen fest, dass die Charakterisierung von Aktivitätsmustern mittels Gram-Matrizen und die Erkennung von Anomalien in den Werten dieser Matrizen hohe OOD-Erkennungsraten ermöglichen. Anomalien in den Gram-Matrizen werden einfach durch den Vergleich jedes Wertes mit dem jeweiligen Bereich, der im Trainingsdatensatz beobachtet wurde, identifiziert. Im Gegensatz zu vielen anderen Ansätzen kann diese Methode mit beliebigen vortrainierten Softmax-Klassifikatoren verwendet werden und erfordert weder Zugriff auf OOD-Daten zur Feinabstimmung von Hyperparametern noch Zugriff auf OOD-Daten zur Schätzung von Parametern. Die Methode ist für eine Vielzahl von Architekturen und Bildverarbeitungsdatensätze anwendbar und erzielt bei der wichtigen und überraschend schwierigen Aufgabe der Erkennung von weit von der Verteilung entfernten OOD-Beispielen im Allgemeinen Ergebnisse, die mindestens gleich gut oder besser sind als die der aktuellen State-of-the-Art-Methoden (einschließlich solcher, die Zugriff auf OOD-Daten voraussetzen).