Freisetzen des Masks: Untersuchung der inhärenten Out-of-Distribution-Erkennungsfähigkeit

Die Erkennung von außerhalb der Verteilung liegenden (out-of-distribution, OOD) Daten ist eine unverzichtbare Komponente für sichere KI-Anwendungen bei der Einführung von maschinellen Lernmodellen in reale Einsatzszenarien. Bisherige Ansätze konzentrieren sich entweder auf die Entwicklung verbesserter Bewertungsfunktionen oder nutzen Wissen über Ausreißer, um Modellen die Fähigkeit zur OOD-Erkennung zu verleihen. Wenig Beachtung findet jedoch die inhärente OOD-Erkennungsfähigkeit eines gegebenen Modells. In dieser Arbeit entdecken wir allgemein, dass ein Modell, das auf in-distribution (ID) Daten trainiert wurde, in einer Zwischenphase eine höhere OOD-Erkennungsleistung aufweist als in seiner finalen Trainingsphase – unabhängig von verschiedenen experimentellen Einstellungen. Weiterhin identifizieren wir einen entscheidenden datenbasierten Faktor: das Lernen mit atypischen Proben. Auf Basis dieser Erkenntnisse schlagen wir eine neue Methode namens Unleashing Mask vor, die darauf abzielt, die OOD-Unterscheidungsfähigkeiten eines gut trainierten Modells mit ID-Daten wiederherzustellen. Unsere Methode verwendet eine Maske, um die in das Modell „memorisierten“ atypischen Proben zu identifizieren, und führt anschließend eine Feinabstimmung oder Pruning des Modells unter Verwendung dieser Maske durch, um diese Proben zu vergessen. Umfangreiche Experimente und Analysen belegen die Wirksamkeit unserer Methode. Der Quellcode ist unter folgender URL verfügbar: https://github.com/tmlr-group/Unleashing-Mask.