Sur l'importance des gradients pour la détection des dérives de distribution dans le monde réel

La détection des données hors distribution (OOD, out-of-distribution) est devenue un élément crucial pour garantir le déploiement sécurisé des modèles d’apprentissage automatique dans des environnements réels. Les approches actuelles de détection OOD reposent principalement sur les espaces de sortie ou de caractéristiques pour calculer des scores OOD, tout en ignorant largement les informations disponibles dans l’espace des gradients. Dans cet article, nous proposons GradNorm, une méthode simple et efficace pour détecter les entrées OOD en exploitant les informations extraites de l’espace des gradients. GradNorm utilise directement la norme du vecteur des gradients, rétropropagés à partir de la divergence de Kullback-Leibler entre la sortie softmax et une distribution de probabilité uniforme. Notre idée centrale repose sur le fait que l’amplitude des gradients est plus élevée pour les données in-distribution (ID) que pour les données OOD, ce qui en fait une information pertinente pour la détection OOD. GradNorm montre des performances supérieures, réduisant le taux de faux positifs à 95 % (FPR95) de manière moyenne de jusqu’à 16,33 % par rapport à la meilleure méthode précédente.