Grad-CAM++ : Améliorations des Explications Visuelles pour les Réseaux de Neurones Convolutifs Profonds

Au cours de la dernière décennie, les modèles de Réseaux Neuronaux Convolutifs (CNN) ont connu un grand succès dans la résolution de problèmes visuels complexes. Cependant, ces modèles profonds sont perçus comme des méthodes de « boîte noire » en raison du manque de compréhension de leur fonctionnement interne. Un intérêt considérable s'est récemment développé pour l'élaboration de modèles d'apprentissage profond explicable, et cet article est une contribution dans cette direction. En nous appuyant sur une méthode récemment proposée appelée Grad-CAM, nous proposons une méthode généralisée nommée Grad-CAM++ qui peut fournir des explications visuelles améliorées des prédictions des modèles CNN, tant en termes de meilleure localisation d'objets que d'explication des occurrences de plusieurs instances d'objets dans une seule image, par rapport aux méthodes les plus avancées actuellement disponibles. Nous fournissons une dérivation mathématique de la méthode proposée, qui utilise une combinaison pondérée des dérivées partielles positives des cartes de caractéristiques de la dernière couche convolutive par rapport à un score spécifique de classe comme poids pour générer une explication visuelle pour l'étiquette de classe correspondante. Nos expériences et évaluations approfondies, tant subjectives qu'objectives, sur des jeux de données standards ont montré que Grad-CAM++ fournit des explications visuelles prometteuses et interprétables par l'humain pour une architecture CNN donnée dans plusieurs tâches, notamment la classification, la génération de légendes d'images et la reconnaissance d'actions en 3D ; ainsi que dans de nouveaux contextes tels que le distillation de connaissances.