HyperAIHyperAI

Command Palette

Search for a command to run...

DICE : Exploiter la parcimonie pour la détection de distributions hors domaine

Yiyou Sun Yixuan Li

Résumé

La détection des entrées hors distribution (OOD, out-of-distribution) constitue un enjeu central pour le déploiement sûr des modèles d’apprentissage automatique dans le monde réel. Les méthodes précédentes reposent généralement sur un score OOD dérivé de l’espace des poids surparamétrés, tout en ignorant largement le rôle de la parcimonie (sparsification). Dans cet article, nous mettons en évidence des insights importants : la dépendance aux poids et aux unités non essentiels peut directement expliquer la fragilité de la détection OOD. Pour atténuer ce problème, nous proposons un cadre de détection OOD fondé sur la parcimonie, nommé DICE. Notre idée centrale consiste à classer les poids selon une mesure de contribution, puis à utiliser sélectivement uniquement les poids les plus significatifs pour calculer la sortie destinée à la détection OOD. Nous fournissons à la fois des preuves empiriques et des arguments théoriques, caractérisant et expliquant le mécanisme par lequel DICE améliore la détection OOD. En éliminant les signaux bruités, DICE réduit prouvablement la variance de la sortie pour les données OOD, conduisant à une distribution de sortie plus aiguë et une séparabilité renforcée par rapport aux données de distribution inédite (ID). Nous démontrons l’efficacité de la détection OOD basée sur la parcimonie sur plusieurs benchmarks et établissons des performances compétitives.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp