Interpretierbares und verallgemeinerungsfähiges Graphenlernen mittels stochastischer Aufmerksamkeitsmechanismen

Interpretierbares Graph-Lernen ist erforderlich, da viele wissenschaftliche Anwendungen auf Lernmodelle angewiesen sind, um Erkenntnisse aus graphenstrukturierten Daten zu gewinnen. Bisherige Arbeiten konzentrierten sich überwiegend auf post-hoc-Methoden zur Interpretation bereits vortrainierter Modelle (insbesondere Graph Neural Networks). Sie argumentieren gegen inhärent interpretierbare Modelle, da deren hohe Interpretierbarkeit oft mit einem Verlust an Vorhersagegenauigkeit einhergeht. Allerdings führen solche post-hoc-Methoden häufig zu instabilen Interpretationen und können Merkmale extrahieren, die spurious korreliert mit der Aufgabe sind. In dieser Arbeit adressieren wir diese Probleme durch die Einführung von Graph Stochastic Attention (GSAT). GSAT leitet sich aus dem Information-Bottleneck-Prinzip ab und integriert Stochastizität in die Aufmerksamkeitsgewichte, um die Übertragung von Informationen aus aufgabenunrelevanten graphischen Komponenten zu blockieren. Gleichzeitig lernt GSAT eine reduzierte Stochastizität in den Aufmerksamkeitsgewichten, um aufgabenrelevante Teilgraphen für die Interpretation auszuwählen. Unter gewissen Annahmen kann gezeigt werden, dass die ausgewählten Teilgraphen keine Muster enthalten, die spurious mit der Aufgabe korreliert sind. Umfassende Experimente auf acht Datensätzen zeigen, dass GSAT die state-of-the-art-Methoden um bis zu 20%↑ im Interpretations-AUC und um 5%↑ in der Vorhersagegenauigkeit übertrifft. Unser Code ist unter https://github.com/Graph-COM/GSAT verfügbar.