Détection des données hors distribution basée sur la mémoire des motifs des données in-distribution à l’aide de l’énergie de Hopfield moderne

La détection des données hors distribution (OOD) est essentielle pour les applications critiques en matière de sécurité des réseaux de neurones profonds. Cette tâche s’avère particulièrement difficile, car les modèles DNN peuvent générer des valeurs de logits très élevées même pour des échantillons OOD. Il est donc extrêmement difficile de distinguer les données OOD en utilisant directement la fonction Softmax appliquée aux logits de sortie comme mesure de confiance. À la différence de cette approche, nous détectons les échantillons OOD en exploitant l’énergie de Hopfield dans un cadre de type « stocker puis comparer ». Plus précisément, les sorties de la couche précédant la dernière sur l’ensemble d’apprentissage sont considérées comme des représentations des données in-distribution (ID). Ces représentations peuvent ainsi être transformées en motifs stockés, servant d’ancres pour mesurer l’écart par rapport aux données inconnues dans le cadre de la détection OOD. En partant de la fonction d’énergie définie dans le réseau de Hopfield moderne pour le calcul du score d’écart, nous proposons une version simplifiée, appelée SHE (Simple Hopfield Energy), accompagnée d’une analyse théorique. Dans SHE, chaque classe est représentée par un seul motif stocké, obtenu simplement en calculant la moyenne des sorties de la couche précédant la dernière pour les échantillons d’apprentissage appartenant à cette classe. L’approche SHE présente l’avantage d’être sans hyperparamètres et extrêmement efficace sur le plan computationnel. Les évaluations sur neuf jeux de données OOD largement utilisés démontrent les performances prometteuses de cette méthode simple mais efficace, ainsi que son avantage par rapport aux modèles de pointe actuels. Le code est disponible à l’adresse suivante : https://github.com/zjs975584714/SHE-ood-detection.