Entkopplung von MaxLogit für die Detektion von Außerhalb der Verteilung befindlichen Daten
{Xiang Xiang Zihan Zhang}

Abstract
In der maschinellen Lernens wird häufig beobachtet, dass Standardtrainingsverfahren anomal hohe Konfidenzwerte sowohl für In-Distribution (ID)- als auch für Out-of-Distribution (OOD)-Daten liefern. Daher ist die Fähigkeit, OOD-Proben zu erkennen, entscheidend für die praktische Anwendung von Modellen. Ein wesentlicher Schritt bei der OOD-Erkennung ist die post-hoc Bewertung. MaxLogit ist eine der einfachsten Bewertungsfunktionen, die den maximalen Logit-Wert als OOD-Score verwendet. Um eine neue Perspektive zur Analyse logitbasierter Bewertungsfunktionen zu bieten, reformulieren wir den Logit als Kosinusähnlichkeit und Logit-Norm und schlagen vor, MaxCosine und MaxNorm zu verwenden. Experimentell stellen wir fest, dass MaxCosine ein zentraler Faktor für die Wirksamkeit von MaxLogit ist, während die Leistung von MaxLogit durch MaxNorm beeinträchtigt wird. Um dieses Problem zu lösen, schlagen wir Decoupling MaxLogit (DML) vor, das eine flexible Balance zwischen MaxCosine und MaxNorm ermöglicht. Um die Kernidee unserer Methode noch deutlicher zu machen, erweitern wir DML zu DML+, basierend auf neuen Erkenntnissen, dass eine geringe Anzahl schwerer Proben und ein kompakter Merkmalsraum die Schlüsselkomponenten für die Effektivität logitbasierter Methoden darstellen. Wir demonstrieren die Wirksamkeit unserer logitbasierten OOD-Erkennungsmethoden an den Datensätzen CIFAR-10, CIFAR-100 und ImageNet und erreichen dabei einen state-of-the-art-Leistungsniveau.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| out-of-distribution-detection-on-imagenet-1k-10 | DML | FPR95: 52.80 |
| out-of-distribution-detection-on-imagenet-1k-12 | DML | FPR95: 54.74 |
| out-of-distribution-detection-on-imagenet-1k-3 | DML | FPR95: 47.32 |
| out-of-distribution-detection-on-imagenet-1k-8 | DML | FPR95: 57.40 |
| out-of-distribution-detection-on-imagenet-1k-9 | DML | FPR95: 61.43 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.