DICE : Exploiter la parcimonie pour la détection de distributions hors domaine

La détection des entrées hors distribution (OOD, out-of-distribution) constitue un enjeu central pour le déploiement sûr des modèles d’apprentissage automatique dans le monde réel. Les méthodes précédentes reposent généralement sur un score OOD dérivé de l’espace des poids surparamétrés, tout en ignorant largement le rôle de la parcimonie (sparsification). Dans cet article, nous mettons en évidence des insights importants : la dépendance aux poids et aux unités non essentiels peut directement expliquer la fragilité de la détection OOD. Pour atténuer ce problème, nous proposons un cadre de détection OOD fondé sur la parcimonie, nommé DICE. Notre idée centrale consiste à classer les poids selon une mesure de contribution, puis à utiliser sélectivement uniquement les poids les plus significatifs pour calculer la sortie destinée à la détection OOD. Nous fournissons à la fois des preuves empiriques et des arguments théoriques, caractérisant et expliquant le mécanisme par lequel DICE améliore la détection OOD. En éliminant les signaux bruités, DICE réduit prouvablement la variance de la sortie pour les données OOD, conduisant à une distribution de sortie plus aiguë et une séparabilité renforcée par rapport aux données de distribution inédite (ID). Nous démontrons l’efficacité de la détection OOD basée sur la parcimonie sur plusieurs benchmarks et établissons des performances compétitives.