HyperAIHyperAI

Command Palette

Search for a command to run...

Neuronen-Aktivierungsabdeckung: Eine Neubewertung der Detektion von außerhalb der Verteilung liegenden Daten und der Generalisierung

Yibing Liu Chris Xing Tian Haoliang Li Lei Ma Shiqi Wang

Zusammenfassung

Das Out-of-Distribution-(OOD)-Problem tritt typischerweise auf, wenn neuronale Netzwerke Daten begegnen, die sich erheblich von der Verteilung der Trainingsdaten – also der In-Distribution-(InD)-Daten – unterscheiden. In diesem Artikel untersuchen wir das OOD-Problem aus der Perspektive der Neuronenaktivierungen. Zunächst formulieren wir die Aktivierungszustände von Neuronen unter Berücksichtigung sowohl des Neuronenausgangs als auch dessen Einflusses auf die Modellentscheidungen. Anschließend führen wir zur Charakterisierung des Zusammenhangs zwischen Neuronen und OOD-Problemen die sogenannte Neuron Activation Coverage (NAC) ein – eine einfache Maßzahl für das Verhalten von Neuronen unter InD-Daten. Unter Verwendung unserer NAC zeigen wir, dass: 1) InD- und OOD-Eingaben basierend auf dem Neuronenverhalten weitgehend getrennt werden können, was das OOD-Erkennungsproblem erheblich vereinfacht und gegenüber 21 bisherigen Methoden auf drei Benchmarks (CIFAR-10, CIFAR-100 und ImageNet-1K) deutlich übertrifft. 2) Eine positive Korrelation zwischen NAC und der Verallgemeinerungsfähigkeit des Modells konsistent über verschiedene Architekturen und Datensätze hinweg besteht, was eine NAC-basierte Kriterien für die Bewertung der Robustheit von Modellen ermöglicht. Im Vergleich zu etablierten Validierungsmaßstäben für InD-Daten zeigen wir, dass NAC nicht nur robustere Modelle identifizieren kann, sondern auch eine stärkere Korrelation mit der OOD-Testleistung aufweist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Neuronen-Aktivierungsabdeckung: Eine Neubewertung der Detektion von außerhalb der Verteilung liegenden Daten und der Generalisierung | Paper | HyperAI