HyperAIHyperAI

Command Palette

Search for a command to run...

Diffusing Graph Attention

Daniel Glickman Eran Yahav

Zusammenfassung

Der dominierende Ansatz für maschinelles Lernen auf Graphen basiert auf Message-Passing-Graph-Neural-Networks (MP-GNNs), bei denen Knotenrepräsentationen durch Aggregation von Informationen in ihrer lokalen Umgebung aktualisiert werden. In jüngster Zeit gibt es zunehmend Bemühungen, die Transformer-Architektur an Graphen anzupassen, um einige bekannte Einschränkungen von MP-GNNs zu überwinden. Ein herausfordernder Aspekt bei der Gestaltung von Graph-Transformern besteht darin, die beliebige Graphstruktur nahtlos in die Architektur zu integrieren. Wir stellen Graph Diffuser (GD) vor, um diese Herausforderung zu bewältigen. GD lernt, strukturelle und positionale Beziehungen zwischen entfernten Knoten im Graphen zu extrahieren, die es dann zur Steuerung der Aufmerksamkeit und der Knotenrepräsentation im Transformer nutzt. Wir zeigen, dass bestehende GNNs und Graph-Transformer Schwierigkeiten haben, langreichweitige Wechselwirkungen zu erfassen, während Graph Diffuser dies effektiv leistet und gleichzeitig intuitive Visualisierungen ermöglicht. Experimente an acht Benchmarks belegen, dass Graph Diffuser ein äußerst konkurrenzfähiges Modell ist, das in einer Vielzahl von Anwendungsdomänen die derzeit beste Leistung erreicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp