Un cadre pour l’évaluation de la détection de classes hors distribution et son application à ImageNet

Lorsqu’elles sont déployées pour des tâches sensibles au risque, les réseaux de neurones profonds doivent être capables de détecter les instances dont les étiquettes appartiennent à une distribution extérieure à celle sur laquelle elles ont été entraînées. Dans cet article, nous présentons un cadre novateur pour évaluer la capacité des classificateurs d’images à détecter des instances de classes hors distribution (c’est-à-dire des instances dont les véritables étiquettes ne figurent pas dans la distribution d’entraînement) à divers niveaux de difficulté de détection. Nous appliquons cette méthode à ImageNet et benchmarkons 525 classificateurs préentraînés, accessibles publiquement, entraînés sur ImageNet-1k. Le code permettant de générer un benchmark pour tout classificateur ImageNet-1k, ainsi que les benchmarks préparés pour les 525 modèles mentionnés ci-dessus, sont disponibles à l’adresse suivante : https://github.com/mdabbah/COOD_benchmarking.La pertinence du cadre proposé et son avantage par rapport aux benchmarks existants sont démontrés par l’analyse des résultats obtenus sur ces modèles, qui révèlent plusieurs observations nouvelles, notamment : (1) la distillation de connaissances améliore de manière cohérente les performances de détection des classes hors distribution (C-OOD) ; (2) un sous-ensemble de modèles ViT (Vision Transformers) obtient de meilleures performances de détection C-OOD que tout autre modèle ; (3) le modèle CLIP, combinant vision et langage, atteint de bonnes performances de détection zéro-shot, son meilleur exemplaire surpassant 96 % des autres modèles évalués ; (4) l’exactitude et le classement dans la distribution sont positivement corrélés à la détection C-OOD ; (5) nous comparons diverses fonctions de confiance pour la détection C-OOD. Notre article complémentaire, également publié dans ICLR 2023 (What Can We Learn From The Selective Prediction And Uncertainty Estimation Performance Of 523 Imagenet Classifiers), examine quant à lui les performances d’estimation d’incertitude (classement, calibration et performance de prédiction sélective) de ces classificateurs dans un cadre de distribution in-situ.