ViM: Out-of-Distribution mit Virtual-Logit-Abstimmung

Die meisten bestehenden Algorithmen zur Erkennung von Out-of-Distribution (OOD)-Beispielen basieren auf einer einzigen Eingabequelle: den Merkmalen, den Logits oder den Softmax-Wahrscheinlichkeiten. Aufgrund der enormen Vielfalt an OOD-Beispielen sind solche Ansätze jedoch anfällig. Es gibt OOD-Beispiele, die im Merkmalsraum leicht zu erkennen sind, aber im Logit-Raum schwer zu unterscheiden, und umgekehrt. Ausgehend von dieser Beobachtung stellen wir eine neue OOD-Score-Methode namens Virtual-logit Matching (ViM) vor, die den klassenunabhängigen Score aus dem Merkmalsraum mit den klassenabhängigen Logits der In-Distribution (ID)-Klassen kombiniert. Konkret wird ein zusätzlicher Logit, der die virtuelle OOD-Klasse repräsentiert, aus dem Restvektor des Merkmals gegenüber dem Hauptraum generiert und anschließend durch eine konstante Skalierung mit den ursprünglichen Logits abgeglichen. Die Wahrscheinlichkeit dieses virtuellen Logits nach Softmax dient als Indikator für OOD-Charakter. Um die Bewertung von OOD-Erkennung im großen Maßstab in der akademischen Forschung zu fördern, haben wir ein neues OOD-Datenset für ImageNet-1K erstellt, das menschlich annotiert ist und 8,8-mal größer als bestehende Datensätze ist. Wir führten umfangreiche Experimente mit CNNs und Vision Transformers durch, um die Wirksamkeit des vorgeschlagenen ViM-Scores zu demonstrieren. Insbesondere erreicht unsere Methode mit dem BiT-S-Modell im Durchschnitt eine AUROC von 90,91 % auf vier anspruchsvollen OOD-Benchmark-Datensätzen – dies entspricht einer Verbesserung um 4 Prozentpunkte gegenüber dem besten Baseline. Der Quellcode und das Datenset sind unter https://github.com/haoqiwang/vim verfügbar.