RISE : Échantillonnage aléatoire des entrées pour l’explication des modèles en boîte noire

Les réseaux neuronaux profonds sont de plus en plus utilisés pour automatiser l'analyse des données et la prise de décision, mais leur processus de prise de décision reste largement obscur et difficile à expliquer aux utilisateurs finaux. Dans cet article, nous abordons le problème de l'IA explicable (Explainable AI) pour les réseaux neuronaux profonds qui prennent des images en entrée et produisent une probabilité de classe en sortie. Nous proposons une approche appelée RISE qui génère une carte d'importance indiquant la pertinence de chaque pixel pour la prédiction du modèle. Contrairement aux approches "boîte blanche" qui estiment l'importance des pixels en utilisant les gradients ou d'autres états internes du réseau, RISE fonctionne sur des modèles "boîte noire". Il estime l'importance empiriquement en sondant le modèle avec des versions masquées aléatoirement de l'image d'entrée et en obtenant les sorties correspondantes. Nous comparons notre approche aux méthodes d'extraction d'importance les plus avancées actuellement disponibles, en utilisant à la fois une métrique automatique de suppression/insertion et une métrique pointage basée sur des segments d'objets annotés par des humains. Des expériences exhaustives sur plusieurs jeux de données de référence montrent que notre approche égale ou dépasse les performances des autres méthodes, y compris celles des approches "boîte blanche".Page du projet : http://cs-people.bu.edu/vpetsiuk/rise/