Forme d’activation extrêmement simple pour la détection de distribution hors domaine

La séparation entre l’entraînement et le déploiement des modèles d’apprentissage automatique implique que toutes les situations rencontrées lors du déploiement ne peuvent pas être anticipées durant l’entraînement, et il existe donc des limites à se fier uniquement aux progrès réalisés dans le processus d’entraînement. La détection des données hors distribution (OOD, out-of-distribution) constitue un domaine crucial qui met à l’épreuve la capacité d’un modèle à gérer des situations inédites : le modèle sait-il qu’il ne sait pas ? Les méthodes existantes de détection OOD nécessitent généralement des étapes supplémentaires d’entraînement, des données additionnelles ou des modifications non négligeables du réseau entraîné. À l’inverse, dans ce travail, nous proposons une méthode extrêmement simple, post-hoc et appliquée en temps réel, appelée ASH (Activation Shaping), dans laquelle une grande partie (par exemple 90 %) des activations d’un échantillon à un stade avancé du réseau est supprimée, tandis que le reste (par exemple 10 %) est simplifié ou légèrement ajusté. Ce traitement est appliqué au moment de l’inférence, sans nécessiter aucune statistique calculée à partir des données d’entraînement. Les expérimentations montrent que ce traitement simple améliore significativement la distinction entre données in-distribution et out-of-distribution, permettant ainsi une détection OOD de pointe sur ImageNet, sans dégradation notable de la précision sur les données in-distribution. Une vidéo, une animation et le code sont disponibles à l’adresse suivante : https://andrijazz.github.io/ash