Dévoiler le masque : explorer la capacité intrinsèque de détection hors distribution

La détection des données hors distribution (OOD) constitue un élément indispensable de l’intelligence artificielle sécurisée lors du déploiement de modèles d’apprentissage automatique dans des applications du monde réel. Les approches précédentes se sont principalement concentrées sur l’amélioration des fonctions de scoring ou sur l’exploitation des connaissances relatives aux données atypiques afin d’équiper les modèles d’une capacité de détection OOD. Toutefois, peu d’entre elles ont porté attention à la capacité intrinsèque de détection OOD du modèle donné. Dans ce travail, nous observons de manière générale l’existence d’un stade intermédiaire d’un modèle entraîné sur des données de distribution in-situ (ID), qui présente une performance de détection OOD supérieure à celle de son stade final, dans diverses configurations. Nous identifions ensuite une caractéristique clé au niveau des données : l’apprentissage à partir d’échantillons atypiques. À partir de ces constatations, nous proposons une nouvelle méthode, Unleashing Mask, visant à restaurer la capacité discriminante OOD d’un modèle bien entraîné sur des données ID. Notre méthode utilise un masque pour identifier les échantillons atypiques mémorisés, puis procède à une fine-tuning ou à une suppression (pruning) du modèle en s’appuyant sur ce masque afin de « oublier » ces échantillons. Des expériences étendues et une analyse approfondie démontrent l’efficacité de notre approche. Le code est disponible à l’adresse suivante : https://github.com/tmlr-group/Unleashing-Mask.