Modèles hybrides profonds pour la détection de données hors distribution

Nous proposons une méthode fondée sur des principes solides et pratique pour la détection de données hors distribution (OoD) basée sur des modèles hybrides profonds (DHMs), qui modélisent la densité conjointe ( p(x, y) ) des caractéristiques et des étiquettes en une seule passe avant. En factorisant la densité conjointe ( p(x, y) ) en trois composantes d'incertitude, nous démontrons que notre approche est capable d’identifier des échantillons sémantiquement différents des données d’entraînement. Pour garantir une scalabilité computationnelle, nous introduisons une étape de normalisation des poids durant l’entraînement, permettant ainsi d’intégrer des architectures d’années neuronales profondes (DNN) de pointe afin d’approximer et d’inférer efficacement des distributions de probabilité expressives. Notre méthode offre un cadre efficace, général et flexible pour l’estimation de l’incertitude prédictive, avec des résultats prometteurs et un soutien théorique solide. À notre connaissance, il s’agit du premier travail à atteindre 100 % de performance sur des tâches de détection OoD à la fois sur des jeux de données visuels et linguistiques, notamment sur des paires de jeux de données particulièrement difficiles telles que CIFAR-10 vs. SVHN et CIFAR-100 vs. CIFAR-10. Ce travail constitue une avancée importante vers l’exploitation des DNN dans des applications du monde réel, notamment dans des contextes critiques pour la sécurité.