HyperAIHyperAI

Command Palette

Search for a command to run...

Accroissement de la fiabilité des réseaux de neurones profonds grâce à la surveillance de la précision

Zhihui Shao Jianyi Yang Shaolei Ren

Résumé

L’exactitude des inférences des réseaux de neurones profonds (DNN) constitue un indicateur de performance fondamental, mais elle peut varier considérablement en pratique selon les jeux de données réels de test, et est généralement inconnue en raison du manque d’étiquettes de vérité terrain. Ce phénomène soulève des préoccupations importantes quant à la fiabilité des DNN, en particulier dans les applications critiques pour la sécurité. Dans cet article, nous abordons la question de la fiabilité des DNN en proposant une méthode post-hoc pour surveiller l’exactitude réelle des inférences sur le jeu de données d’un utilisateur. Plus précisément, nous proposons un modèle de surveillance de l’exactitude basé sur un réseau de neurones, qui prend uniquement en entrée les sorties de probabilités softmax du DNN déployé et prédit directement si la prédiction du DNN est correcte ou non, permettant ainsi d’estimer l’exactitude réelle des inférences. Ce modèle de surveillance peut être pré-entraîné sur un jeu de données pertinent pour l’application cible, et nécessite uniquement l’étiquetage actif d’une petite portion (1 % dans nos expériences) du jeu de données de l’utilisateur pour permettre le transfert du modèle. Pour assurer une robustesse accrue de l’estimation, nous utilisons par ailleurs un ensemble de modèles de surveillance fondé sur la méthode du Monte-Carlo dropout. Nous évaluons notre approche sur différents DNN déployés pour la classification d’images et la détection de panneaux de circulation, sur plusieurs jeux de données (y compris des échantillons adverses). Les résultats montrent que notre modèle de surveillance de l’exactitude fournit une estimation proche de la vérité et surpasse les méthodes de référence existantes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp