Diffusing Graph Attention

Der dominierende Ansatz für maschinelles Lernen auf Graphen basiert auf Message-Passing-Graph-Neural-Networks (MP-GNNs), bei denen Knotenrepräsentationen durch Aggregation von Informationen in ihrer lokalen Umgebung aktualisiert werden. In jüngster Zeit gibt es zunehmend Bemühungen, die Transformer-Architektur an Graphen anzupassen, um einige bekannte Einschränkungen von MP-GNNs zu überwinden. Ein herausfordernder Aspekt bei der Gestaltung von Graph-Transformern besteht darin, die beliebige Graphstruktur nahtlos in die Architektur zu integrieren. Wir stellen Graph Diffuser (GD) vor, um diese Herausforderung zu bewältigen. GD lernt, strukturelle und positionale Beziehungen zwischen entfernten Knoten im Graphen zu extrahieren, die es dann zur Steuerung der Aufmerksamkeit und der Knotenrepräsentation im Transformer nutzt. Wir zeigen, dass bestehende GNNs und Graph-Transformer Schwierigkeiten haben, langreichweitige Wechselwirkungen zu erfassen, während Graph Diffuser dies effektiv leistet und gleichzeitig intuitive Visualisierungen ermöglicht. Experimente an acht Benchmarks belegen, dass Graph Diffuser ein äußerst konkurrenzfähiges Modell ist, das in einer Vielzahl von Anwendungsdomänen die derzeit beste Leistung erreicht.