HyperAIHyperAI

Command Palette

Search for a command to run...

Freisetzen des Masks: Untersuchung der inhärenten Out-of-Distribution-Erkennungsfähigkeit

Jianing Zhu Hengzhuang Li Jiangchao Yao Tongliang Liu Jianliang Xu Bo Han

Zusammenfassung

Die Erkennung von außerhalb der Verteilung liegenden (out-of-distribution, OOD) Daten ist eine unverzichtbare Komponente für sichere KI-Anwendungen bei der Einführung von maschinellen Lernmodellen in reale Einsatzszenarien. Bisherige Ansätze konzentrieren sich entweder auf die Entwicklung verbesserter Bewertungsfunktionen oder nutzen Wissen über Ausreißer, um Modellen die Fähigkeit zur OOD-Erkennung zu verleihen. Wenig Beachtung findet jedoch die inhärente OOD-Erkennungsfähigkeit eines gegebenen Modells. In dieser Arbeit entdecken wir allgemein, dass ein Modell, das auf in-distribution (ID) Daten trainiert wurde, in einer Zwischenphase eine höhere OOD-Erkennungsleistung aufweist als in seiner finalen Trainingsphase – unabhängig von verschiedenen experimentellen Einstellungen. Weiterhin identifizieren wir einen entscheidenden datenbasierten Faktor: das Lernen mit atypischen Proben. Auf Basis dieser Erkenntnisse schlagen wir eine neue Methode namens Unleashing Mask vor, die darauf abzielt, die OOD-Unterscheidungsfähigkeiten eines gut trainierten Modells mit ID-Daten wiederherzustellen. Unsere Methode verwendet eine Maske, um die in das Modell „memorisierten“ atypischen Proben zu identifizieren, und führt anschließend eine Feinabstimmung oder Pruning des Modells unter Verwendung dieser Maske durch, um diese Proben zu vergessen. Umfangreiche Experimente und Analysen belegen die Wirksamkeit unserer Methode. Der Quellcode ist unter folgender URL verfügbar: https://github.com/tmlr-group/Unleashing-Mask.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp