Découplage de MaxLogit pour la détection de distribution hors domaine

En apprentissage automatique, il est fréquemment observé que l'entraînement standard produit des confidences anormalement élevées tant pour les données in-distribution (ID) que pour les données out-of-distribution (OOD). Par conséquent, la capacité à détecter les échantillons OOD est cruciale pour le déploiement des modèles. Une étape essentielle de la détection OOD consiste en une évaluation post-hoc. MaxLogit est l'une des fonctions de scoring les plus simples, qui utilise le maximum des logits comme score OOD. Pour offrir une nouvelle perspective sur l'analyse des fonctions de scoring basées sur les logits, nous reformulons les logits en termes de similarité cosinus et de norme des logits, et proposons d'utiliser respectivement MaxCosine et MaxNorm. Nous constatons empiriquement que MaxCosine est un facteur central dans l'efficacité de MaxLogit, tandis que la performance de MaxLogit est entravée par MaxNorm. Pour résoudre ce problème, nous proposons Decoupling MaxLogit (DML), une méthode offrant une flexibilité pour équilibrer MaxCosine et MaxNorm. Pour mieux illustrer le cœur de notre approche, nous étendons DML en DML+ sur la base de nouvelles intuitions selon lesquelles un nombre réduit d’échantillons difficiles (hard samples) et un espace de caractéristiques compact sont les composantes clés rendant les méthodes basées sur les logits efficaces. Nous démontrons l’efficacité de nos méthodes de détection OOD basées sur les logits sur les jeux de données CIFAR-10, CIFAR-100 et ImageNet, et établissons un nouveau record d’état de l’art.