Apprentissage de graphes interprétable et généralisable par mécanisme d'attention stochastique

L’apprentissage interprétable des graphes est devenu nécessaire, car de nombreuses applications scientifiques s’appuient sur des modèles d’apprentissage pour extraire des insights à partir de données structurées en graphe. Les travaux antérieurs se sont principalement concentrés sur l’interprétation de modèles pré-entraînés (notamment les réseaux de neurones sur graphes) à l’aide de méthodes post-hoc. Ils critiquent les modèles intrinsèquement interprétables, car leur bonne interprétabilité est souvent obtenue au détriment de leur précision prédictive. Toutefois, ces approches post-hoc peinent souvent à fournir des interprétations stables et peuvent extraire des caractéristiques corrélées de manière spuriouse avec la tâche. Dans ce travail, nous abordons ces limites en proposant Graph Stochastic Attention (GSAT). Déduit du principe du goulot d’étranglement d’information, GSAT introduit une stochasticité dans les poids d’attention afin de bloquer l’information provenant des composants du graphe non pertinents pour la tâche, tout en apprenant une attention réduite en stochasticité pour sélectionner des sous-graphes pertinents pour la tâche, facilitant ainsi une interprétation explicite. Sous certaines hypothèses, les sous-graphes sélectionnés ne contiennent, de manière prouvée, aucune configuration corrélée de manière spuriouse avec la tâche. Des expériences étendues sur huit jeux de données montrent que GSAT dépasse les méthodes de pointe en termes d’AUC d’interprétation, avec une amélioration allant jusqu’à 20 %↑, et en précision prédictive, avec une augmentation de 5 %↑. Le code de notre méthode est disponible à l’adresse suivante : https://github.com/Graph-COM/GSAT.