Normalisation Maximum Likelihood Prédicteur à Couche Unique pour la Détection de Données Hors Distribution

La détection des échantillons hors distribution (OOD, out-of-distribution) est essentielle pour le développement de modèles fondés sur l’apprentissage automatique destinés à des systèmes critiques en matière de sécurité. Les approches courantes pour la détection OOD supposent la disponibilité d’échantillons OOD pendant l’entraînement, ce qui peut ne pas être réalisable dans un contexte réel. À la place, nous utilisons l’apprenant basé sur la normalised maximum likelihood prédictive (pNML), pour lequel aucune hypothèse n’est faite sur l’entrée testée. Nous dérivons une expression explicite de la pNML ainsi que son erreur de généralisation, appelée regret, pour un réseau de neurones à une couche (NN). Nous montrons que cet apprenant généralise efficacement lorsque (i) le vecteur de test appartient au sous-espace engendré par les vecteurs propres associés aux grandes valeurs propres de la matrice de corrélation empirique des données d’entraînement, ou (ii) l’échantillon test est éloigné de la frontière de décision. En outre, nous décrivons une méthode efficace pour appliquer le regret pNML dérivé à tout réseau neuronal profond préentraîné, en exploitant l’expression explicite de la pNML pour la dernière couche, suivie de la fonction softmax. L’application du regret dérivé aux réseaux profonds ne nécessite ni paramètres ajustables supplémentaires ni données supplémentaires. Nous évaluons de manière exhaustive notre approche sur 74 benchmarks de détection OOD, en utilisant des modèles DenseNet-100, ResNet-34 et WideResNet-40 entraînés sur CIFAR-100, CIFAR-10, SVHN et ImageNet-30, obtenant une amélioration significative allant jusqu’à 15,6 % par rapport aux méthodes récentes les plus performantes.