Accroissement de la fiabilité des réseaux de neurones profonds grâce à la surveillance de la précision

L’exactitude des inférences des réseaux de neurones profonds (DNN) constitue un indicateur de performance fondamental, mais elle peut varier considérablement en pratique selon les jeux de données réels de test, et est généralement inconnue en raison du manque d’étiquettes de vérité terrain. Ce phénomène soulève des préoccupations importantes quant à la fiabilité des DNN, en particulier dans les applications critiques pour la sécurité. Dans cet article, nous abordons la question de la fiabilité des DNN en proposant une méthode post-hoc pour surveiller l’exactitude réelle des inférences sur le jeu de données d’un utilisateur. Plus précisément, nous proposons un modèle de surveillance de l’exactitude basé sur un réseau de neurones, qui prend uniquement en entrée les sorties de probabilités softmax du DNN déployé et prédit directement si la prédiction du DNN est correcte ou non, permettant ainsi d’estimer l’exactitude réelle des inférences. Ce modèle de surveillance peut être pré-entraîné sur un jeu de données pertinent pour l’application cible, et nécessite uniquement l’étiquetage actif d’une petite portion (1 % dans nos expériences) du jeu de données de l’utilisateur pour permettre le transfert du modèle. Pour assurer une robustesse accrue de l’estimation, nous utilisons par ailleurs un ensemble de modèles de surveillance fondé sur la méthode du Monte-Carlo dropout. Nous évaluons notre approche sur différents DNN déployés pour la classification d’images et la détection de panneaux de circulation, sur plusieurs jeux de données (y compris des échantillons adverses). Les résultats montrent que notre modèle de surveillance de l’exactitude fournit une estimation proche de la vérité et surpasse les méthodes de référence existantes.