Neuronen-Aktivierungsabdeckung: Eine Neubewertung der Detektion von außerhalb der Verteilung liegenden Daten und der Generalisierung

Das Out-of-Distribution-(OOD)-Problem tritt typischerweise auf, wenn neuronale Netzwerke Daten begegnen, die sich erheblich von der Verteilung der Trainingsdaten – also der In-Distribution-(InD)-Daten – unterscheiden. In diesem Artikel untersuchen wir das OOD-Problem aus der Perspektive der Neuronenaktivierungen. Zunächst formulieren wir die Aktivierungszustände von Neuronen unter Berücksichtigung sowohl des Neuronenausgangs als auch dessen Einflusses auf die Modellentscheidungen. Anschließend führen wir zur Charakterisierung des Zusammenhangs zwischen Neuronen und OOD-Problemen die sogenannte Neuron Activation Coverage (NAC) ein – eine einfache Maßzahl für das Verhalten von Neuronen unter InD-Daten. Unter Verwendung unserer NAC zeigen wir, dass: 1) InD- und OOD-Eingaben basierend auf dem Neuronenverhalten weitgehend getrennt werden können, was das OOD-Erkennungsproblem erheblich vereinfacht und gegenüber 21 bisherigen Methoden auf drei Benchmarks (CIFAR-10, CIFAR-100 und ImageNet-1K) deutlich übertrifft. 2) Eine positive Korrelation zwischen NAC und der Verallgemeinerungsfähigkeit des Modells konsistent über verschiedene Architekturen und Datensätze hinweg besteht, was eine NAC-basierte Kriterien für die Bewertung der Robustheit von Modellen ermöglicht. Im Vergleich zu etablierten Validierungsmaßstäben für InD-Daten zeigen wir, dass NAC nicht nur robustere Modelle identifizieren kann, sondern auch eine stärkere Korrelation mit der OOD-Testleistung aufweist.