GEN : Dépasser les limites de la détection hors distribution basée sur Softmax

La détection des données hors distribution (OOD) a fait l’objet d’une étude approfondie afin de permettre un déploiement réussi des réseaux de neurones, en particulier dans des applications critiques pour la sécurité. En outre, effectuer la détection OOD sur des jeux de données à grande échelle est plus proche de la réalité, mais aussi plus difficile. Plusieurs approches nécessitent soit l’accès aux données d’entraînement pour concevoir les scores, soit l’exposition du modèle aux données aberrantes pendant l’entraînement. Certaines méthodes post-hoc parviennent à éviter ces contraintes, mais sont généralement moins performantes. Dans ce travail, nous proposons GEN (Generalized ENtropy score), une fonction de score basée sur l’entropie, simple mais efficace, applicable à tout classificateur pré-entraîné utilisant une sortie softmax. Sa performance est démontrée sur le benchmark OOD à grande échelle ImageNet-1k. GEN améliore de manière cohérente le score moyen d’AUROC sur six classificateurs couramment utilisés basés sur les CNN et les transformateurs visuels, surpassant ainsi plusieurs méthodes post-hoc de pointe. L’amélioration moyenne de l’AUROC atteint au moins 3,5 %. En outre, nous avons appliqué GEN sur des méthodes d’amélioration basées sur les caractéristiques ainsi que sur des approches utilisant des statistiques d’entraînement, afin d’obtenir une détection OOD encore plus performante. Le code source est disponible à l’adresse suivante : https://github.com/XixiLiu95/GEN.