HyperAIHyperAI

Command Palette

Search for a command to run...

Skalierung für Trainingszeit und nachträgliche Verbesserung der Out-of-distribution-Erkennung

Kai Xu Rongyu Chen Gianni Franchi Angela Yao

Zusammenfassung

Die Fähigkeit moderner Deep-Learning-Systeme, zu bestimmen, ob eine Probe in ihren Bereich des Wissens fällt, ist grundlegend und von entscheidender Bedeutung. In diesem Artikel präsentieren wir Einblicke und Analysen aktueller State-of-the-Art-Methoden zur Erkennung von außerhalb der Verteilung liegenden (out-of-distribution, OOD) Daten – insbesondere der extrem einfachen Aktivierungsformung (activation shaping, ASH). Wir zeigen, dass Aktivierungspruning die OOD-Erkennung beeinträchtigt, während Aktivierungsskalierung diese verbessert. Darüber hinaus stellen wir SCALE vor, eine einfache, jedoch wirksame post-hoc-Netzwerkverbesserungsmethode zur OOD-Erkennung, die state-of-the-art-Leistung erzielt, ohne die Genauigkeit für innerhalb der Verteilung liegende (in-distribution, ID) Daten zu beeinträchtigen. Durch die Integration von Skalierungskonzepten in den Trainingsprozess, um die ID-Charakteristika einer Probe besser zu erfassen, schlagen wir Intermediate Tensor SHaping (ISH) vor – eine leichtgewichtige Methode zur Verbesserung der OOD-Erkennung während des Trainings. Auf der OpenOOD v1.5 ImageNet-1K-Benchmark erreichen wir AUROC-Steigerungen von +1,85 % für nahe OOD-Daten und +0,74 % für ferne OOD-Daten. Unser Code und die Modelle sind unter https://github.com/kai422/SCALE verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp