DICE: Ausnutzung der Sparsifizierung zur Detektion von außerhalb der Verteilung liegenden Daten

Die Erkennung von außerhalb der Verteilung liegenden (out-of-distribution, OOD) Eingaben stellt eine zentrale Herausforderung dar, wenn maschinelles Lernen in der realen Welt sicher eingesetzt werden soll. Bisherige Ansätze stützen sich häufig auf eine OOD-Score, der aus dem überparametrisierten Gewichtsraum abgeleitet wird, wobei jedoch die Rolle der Sparsifizierung weitgehend vernachlässigt wird. In diesem Paper eröffnen wir wichtige Erkenntnisse: Die Abhängigkeit von unwichtigen Gewichten und Neuronen kann direkt zur Anfälligkeit (Brennbarkeit) der OOD-Erkennung beitragen. Um dieses Problem zu mildern, schlagen wir einen auf Sparsifizierung basierenden Ansatz zur OOD-Erkennung vor, der als DICE bezeichnet wird. Unser zentrales Konzept besteht darin, die Gewichte nach einem Maß für ihren Beitrag zu bewerten und lediglich die aussagekräftigsten Gewichte zur Ableitung des Ausgangs für die OOD-Erkennung zu nutzen. Wir liefern sowohl empirische als auch theoretische Einblicke und charakterisieren sowie erklären den Mechanismus, durch den DICE die OOD-Erkennung verbessert. Durch das Ausschalten von störenden Signalen reduziert DICE beweisbar die Ausgabevarianz für OOD-Daten, was zu einer schärferen Ausgabeverteilung und einer stärkeren Trennbarkeit gegenüber In-Distribution-Daten führt. Wir demonstrieren die Wirksamkeit der auf Sparsifizierung basierenden OOD-Erkennung an mehreren Benchmark-Datenmengen und erzielen wettbewerbsfähige Ergebnisse.