ViM : Détection de données hors distribution par adaptation des virtual-logits

La plupart des algorithmes existants de détection d’out-of-distribution (OOD) reposent sur une seule source d’entrée : les caractéristiques (features), les logits ou les probabilités de softmax. Toutefois, la diversité considérable des exemples OOD rend ces méthodes fragiles. Certains exemples OOD sont faciles à détecter dans l’espace des caractéristiques mais difficiles à distinguer dans l’espace des logits, et vice versa. Inspirés par cette observation, nous proposons une nouvelle méthode de scoring OOD nommée Virtual-logit Matching (ViM), qui combine un score indépendant des classes issu de l’espace des caractéristiques avec les logits dépendants des classes de l’ensemble d’entrée (In-Distribution, ID). Plus précisément, un logit supplémentaire représentant une classe OOD virtuelle est généré à partir du résidu des caractéristiques par rapport à l’espace principal, puis aligné avec les logits originaux par une mise à l’échelle constante. La probabilité de ce logit virtuel après application de la fonction softmax sert d’indicateur de l’OOD-ness. Pour faciliter l’évaluation à grande échelle de la détection OOD dans le milieu académique, nous avons créé un nouveau jeu de données OOD pour ImageNet-1K, entièrement annoté par des humains et 8,8 fois plus volumineux que les jeux de données existants. Nous avons mené des expériences approfondies sur des réseaux convolutionnels (CNN) et des transformateurs visuels (vision transformers) afin de démontrer l’efficacité du score ViM proposé. En particulier, en utilisant le modèle BiT-S, notre méthode atteint une moyenne d’AUROC de 90,91 % sur quatre défis OOD particulièrement difficiles, soit une amélioration de 4 % par rapport au meilleur modèle de référence. Le code source et le jeu de données sont disponibles à l’adresse suivante : https://github.com/haoqiwang/vim.