HyperAIHyperAI

Command Palette

Search for a command to run...

Sur l'importance des gradients pour la détection des dérives de distribution dans le monde réel

Rui Huang Andrew Geng Yixuan Li

Résumé

La détection des données hors distribution (OOD, out-of-distribution) est devenue un élément crucial pour garantir le déploiement sécurisé des modèles d’apprentissage automatique dans des environnements réels. Les approches actuelles de détection OOD reposent principalement sur les espaces de sortie ou de caractéristiques pour calculer des scores OOD, tout en ignorant largement les informations disponibles dans l’espace des gradients. Dans cet article, nous proposons GradNorm, une méthode simple et efficace pour détecter les entrées OOD en exploitant les informations extraites de l’espace des gradients. GradNorm utilise directement la norme du vecteur des gradients, rétropropagés à partir de la divergence de Kullback-Leibler entre la sortie softmax et une distribution de probabilité uniforme. Notre idée centrale repose sur le fait que l’amplitude des gradients est plus élevée pour les données in-distribution (ID) que pour les données OOD, ce qui en fait une information pertinente pour la détection OOD. GradNorm montre des performances supérieures, réduisant le taux de faux positifs à 95 % (FPR95) de manière moyenne de jusqu’à 16,33 % par rapport à la meilleure méthode précédente.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp