HyperAIHyperAI

Command Palette

Search for a command to run...

Interpretierbares und verallgemeinerungsfähiges Graphenlernen mittels stochastischer Aufmerksamkeitsmechanismen

Siqi Miao Miaoyuan Liu Pan Li

Zusammenfassung

Interpretierbares Graph-Lernen ist erforderlich, da viele wissenschaftliche Anwendungen auf Lernmodelle angewiesen sind, um Erkenntnisse aus graphenstrukturierten Daten zu gewinnen. Bisherige Arbeiten konzentrierten sich überwiegend auf post-hoc-Methoden zur Interpretation bereits vortrainierter Modelle (insbesondere Graph Neural Networks). Sie argumentieren gegen inhärent interpretierbare Modelle, da deren hohe Interpretierbarkeit oft mit einem Verlust an Vorhersagegenauigkeit einhergeht. Allerdings führen solche post-hoc-Methoden häufig zu instabilen Interpretationen und können Merkmale extrahieren, die spurious korreliert mit der Aufgabe sind. In dieser Arbeit adressieren wir diese Probleme durch die Einführung von Graph Stochastic Attention (GSAT). GSAT leitet sich aus dem Information-Bottleneck-Prinzip ab und integriert Stochastizität in die Aufmerksamkeitsgewichte, um die Übertragung von Informationen aus aufgabenunrelevanten graphischen Komponenten zu blockieren. Gleichzeitig lernt GSAT eine reduzierte Stochastizität in den Aufmerksamkeitsgewichten, um aufgabenrelevante Teilgraphen für die Interpretation auszuwählen. Unter gewissen Annahmen kann gezeigt werden, dass die ausgewählten Teilgraphen keine Muster enthalten, die spurious mit der Aufgabe korreliert sind. Umfassende Experimente auf acht Datensätzen zeigen, dass GSAT die state-of-the-art-Methoden um bis zu 20%↑ im Interpretations-AUC und um 5%↑ in der Vorhersagegenauigkeit übertrifft. Unser Code ist unter https://github.com/Graph-COM/GSAT verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Interpretierbares und verallgemeinerungsfähiges Graphenlernen mittels stochastischer Aufmerksamkeitsmechanismen | Paper | HyperAI