Skalierung für Trainingszeit und nachträgliche Verbesserung der Out-of-distribution-Erkennung

Die Fähigkeit moderner Deep-Learning-Systeme, zu bestimmen, ob eine Probe in ihren Bereich des Wissens fällt, ist grundlegend und von entscheidender Bedeutung. In diesem Artikel präsentieren wir Einblicke und Analysen aktueller State-of-the-Art-Methoden zur Erkennung von außerhalb der Verteilung liegenden (out-of-distribution, OOD) Daten – insbesondere der extrem einfachen Aktivierungsformung (activation shaping, ASH). Wir zeigen, dass Aktivierungspruning die OOD-Erkennung beeinträchtigt, während Aktivierungsskalierung diese verbessert. Darüber hinaus stellen wir SCALE vor, eine einfache, jedoch wirksame post-hoc-Netzwerkverbesserungsmethode zur OOD-Erkennung, die state-of-the-art-Leistung erzielt, ohne die Genauigkeit für innerhalb der Verteilung liegende (in-distribution, ID) Daten zu beeinträchtigen. Durch die Integration von Skalierungskonzepten in den Trainingsprozess, um die ID-Charakteristika einer Probe besser zu erfassen, schlagen wir Intermediate Tensor SHaping (ISH) vor – eine leichtgewichtige Methode zur Verbesserung der OOD-Erkennung während des Trainings. Auf der OpenOOD v1.5 ImageNet-1K-Benchmark erreichen wir AUROC-Steigerungen von +1,85 % für nahe OOD-Daten und +0,74 % für ferne OOD-Daten. Unser Code und die Modelle sind unter https://github.com/kai422/SCALE verfügbar.