Auswertung von Daten außerhalb der Verteilung basierend auf der Speicherung von Muster in der Verteilung mit moderner Hopfield-Energie

Die Erkennung von Daten außerhalb der Verteilung (Out-of-Distribution, OOD) ist für sicherheitskritische Anwendungen tiefer neuronaler Netze von entscheidender Bedeutung. Die OOD-Erkennung ist herausfordernd, da tiefe neuronale Netze (DNN) selbst für OOD-Proben sehr hohe Logit-Werte erzeugen können. Daher ist es äußerst schwierig, OOD-Daten direkt durch die Verwendung der Softmax-Funktion auf den Ausgabelogits als Vertrauensmaß zu unterscheiden. Im Gegensatz dazu detektieren wir OOD-Proben mithilfe der Hopfield-Energie in einem Store-then-Compare-Paradigma. Genauer gesagt werden die Ausgaben der vorletzten Schicht auf dem Trainingsdatensatz als Repräsentationen der in-distribution (ID) Daten betrachtet. Diese können somit in gespeicherte Muster transformiert werden, die als Referenzpunkte dienen, um die Diskrepanz von unbekannten Daten zur OOD-Erkennung zu messen. Ausgehend von der Energiefunktion, die im modernen Hopfield-Netzwerk zur Berechnung der Diskrepanz verwendet wird, leiten wir eine vereinfachte Variante, SHE (Simple Hopfield Energy), mit theoretischer Analyse ab. In SHE verwenden wir lediglich ein einziges gespeichertes Muster pro Klasse, das durch einfache Mittelung der Ausgaben der vorletzten Schicht der Trainingsbeispiele innerhalb dieser Klasse gewonnen werden kann. SHE zeichnet sich durch die Eigenschaften parameterfreier Implementierung und hoher rechnerischer Effizienz aus. Evaluierungen auf neun weit verbreiteten OOD-Datensätzen zeigen die vielversprechende Leistung dieser einfachen, dennoch wirksamen Methode sowie deren Überlegenheit gegenüber aktuellen State-of-the-Art-Modellen. Der Quellcode ist unter https://github.com/zjs975584714/SHE-ood-detection verfügbar.