HyperAIHyperAI

Command Palette

Search for a command to run...

DICE: Ausnutzung der Sparsifizierung zur Detektion von außerhalb der Verteilung liegenden Daten

Yiyou Sun Yixuan Li

Zusammenfassung

Die Erkennung von außerhalb der Verteilung liegenden (out-of-distribution, OOD) Eingaben stellt eine zentrale Herausforderung dar, wenn maschinelles Lernen in der realen Welt sicher eingesetzt werden soll. Bisherige Ansätze stützen sich häufig auf eine OOD-Score, der aus dem überparametrisierten Gewichtsraum abgeleitet wird, wobei jedoch die Rolle der Sparsifizierung weitgehend vernachlässigt wird. In diesem Paper eröffnen wir wichtige Erkenntnisse: Die Abhängigkeit von unwichtigen Gewichten und Neuronen kann direkt zur Anfälligkeit (Brennbarkeit) der OOD-Erkennung beitragen. Um dieses Problem zu mildern, schlagen wir einen auf Sparsifizierung basierenden Ansatz zur OOD-Erkennung vor, der als DICE bezeichnet wird. Unser zentrales Konzept besteht darin, die Gewichte nach einem Maß für ihren Beitrag zu bewerten und lediglich die aussagekräftigsten Gewichte zur Ableitung des Ausgangs für die OOD-Erkennung zu nutzen. Wir liefern sowohl empirische als auch theoretische Einblicke und charakterisieren sowie erklären den Mechanismus, durch den DICE die OOD-Erkennung verbessert. Durch das Ausschalten von störenden Signalen reduziert DICE beweisbar die Ausgabevarianz für OOD-Daten, was zu einer schärferen Ausgabeverteilung und einer stärkeren Trennbarkeit gegenüber In-Distribution-Daten führt. Wir demonstrieren die Wirksamkeit der auf Sparsifizierung basierenden OOD-Erkennung an mehreren Benchmark-Datenmengen und erzielen wettbewerbsfähige Ergebnisse.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp