« Pourquoi devrais-je vous faire confiance ? » : Explication des prédictions de tout classificateur

Malgré leur adoption généralisée, les modèles d'apprentissage automatique restent majoritairement des boîtes noires. Comprendre les raisons derrière les prédictions est cependant essentiel pour évaluer la confiance, qui est fondamentale si l'on envisage de prendre une décision basée sur une prédiction ou lors du choix de déployer un nouveau modèle. Une telle compréhension fournit également des insights sur le modèle, qui peuvent être utilisés pour transformer un modèle ou une prédiction non fiable en un modèle ou une prédiction fiable. Dans cette étude, nous proposons LIME (Local Interpretable Model-agnostic Explanations), une nouvelle technique d'explication qui clarifie les prédictions de tout classificateur de manière interprétable et fidèle, en apprenant un modèle interprétable localement autour de la prédiction. Nous proposons également une méthode pour expliquer les modèles en présentant des prédictions individuelles représentatives et leurs explications de manière non redondante, en formulant cette tâche comme un problème d'optimisation sous-modulaire. Nous démontrons la flexibilité de ces méthodes en expliquant différents modèles pour la classification de texte (par exemple, forêts aléatoires) et d'image (par exemple, réseaux neuronaux). Nous illustrons l'utilité des explications par des expériences novatrices, tant simulées qu'avec des sujets humains, dans divers scénarios nécessitant confiance : décider si l'on doit faire confiance à une prédiction, choisir entre plusieurs modèles, améliorer un classificateur non fiable et identifier pourquoi un classificateur ne devrait pas être fait confiance.