HyperAIHyperAI

Command Palette

Search for a command to run...

ViM : Détection de données hors distribution par adaptation des virtual-logits

Haoqi Wang Zhizhong Li Litong Feng Wayne Zhang

Résumé

La plupart des algorithmes existants de détection d’out-of-distribution (OOD) reposent sur une seule source d’entrée : les caractéristiques (features), les logits ou les probabilités de softmax. Toutefois, la diversité considérable des exemples OOD rend ces méthodes fragiles. Certains exemples OOD sont faciles à détecter dans l’espace des caractéristiques mais difficiles à distinguer dans l’espace des logits, et vice versa. Inspirés par cette observation, nous proposons une nouvelle méthode de scoring OOD nommée Virtual-logit Matching (ViM), qui combine un score indépendant des classes issu de l’espace des caractéristiques avec les logits dépendants des classes de l’ensemble d’entrée (In-Distribution, ID). Plus précisément, un logit supplémentaire représentant une classe OOD virtuelle est généré à partir du résidu des caractéristiques par rapport à l’espace principal, puis aligné avec les logits originaux par une mise à l’échelle constante. La probabilité de ce logit virtuel après application de la fonction softmax sert d’indicateur de l’OOD-ness. Pour faciliter l’évaluation à grande échelle de la détection OOD dans le milieu académique, nous avons créé un nouveau jeu de données OOD pour ImageNet-1K, entièrement annoté par des humains et 8,8 fois plus volumineux que les jeux de données existants. Nous avons mené des expériences approfondies sur des réseaux convolutionnels (CNN) et des transformateurs visuels (vision transformers) afin de démontrer l’efficacité du score ViM proposé. En particulier, en utilisant le modèle BiT-S, notre méthode atteint une moyenne d’AUROC de 90,91 % sur quatre défis OOD particulièrement difficiles, soit une amélioration de 4 % par rapport au meilleur modèle de référence. Le code source et le jeu de données sont disponibles à l’adresse suivante : https://github.com/haoqiwang/vim.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp