Erkennung von Out-of-distribution-Daten durch In-distribution-Klassenprior
{Bo Han Feng Zheng Tongliang Liu Hong Chen Zhen Fang Feng Liu Xue Jiang}

Abstract
Gegeben ein vortrainiertes In-Distribution (ID)-Modell zielt die Erkennung von Out-of-Distribution (OOD)-Daten zur Inferenzzeit darauf ab, OOD-Daten während der Inferenzphase zu identifizieren. Allerdings basieren einige etablierte Methoden auf einer nicht bewiesenen Annahme: Die Wahrscheinlichkeit, dass OOD-Daten zu jeder ID-Klasse gehören, sei für alle ID-Klassen gleich, d. h., die OOD-zu-ID-Wahrscheinlichkeiten bilden tatsächlich eine gleichmäßige Verteilung. In dieser Arbeit zeigen wir, dass diese Annahme dazu führt, dass die genannten Methoden bei ID-Modellen, die mit klassenungleichgewichteten Daten trainiert wurden, unwirksam werden. Glücklicherweise identifizieren wir durch die Analyse der kausalen Beziehungen zwischen ID- und OOD-Klassen sowie deren Merkmalen mehrere häufige Szenarien, in denen die OOD-zu-ID-Wahrscheinlichkeiten der ID-Klassenprior-Verteilung entsprechen sollten. Darauf aufbauend schlagen wir zwei Strategien vor, um bestehende Methoden zur Inferenzzeit-OOD-Erkennung zu modifizieren: 1) Ersetzen der gleichmäßigen Verteilung durch die ID-Klassenprior-Verteilung, falls diese explizit verwendet wird; 2) ansonsten Umgewichtung der Scores entsprechend der Ähnlichkeit zwischen der ID-Klassenprior-Verteilung und den Softmax-Ausgaben des vortrainierten Modells. Umfangreiche Experimente belegen, dass beide Strategien die OOD-Erkennungsleistung verbessern, wenn das ID-Modell mit ungleichgewichteten Daten vortrainiert wurde, was die entscheidende Bedeutung der ID-Klassenprior-Verteilung für die OOD-Erkennung unterstreicht.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| out-of-distribution-detection-on-imagenet-1k-10 | RP+GradNorm | FPR95: 79.80 |
| out-of-distribution-detection-on-imagenet-1k-12 | RP+GradNorm | FPR95: 70.12 |
| out-of-distribution-detection-on-imagenet-1k-3 | RP+GradNorm | FPR95: 43.87 |
| out-of-distribution-detection-on-imagenet-1k-8 | RP+GradNorm | FPR95: 73.53 |
| out-of-distribution-detection-on-imagenet-1k-9 | RP+GradNorm | FPR95: 83.29 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.