HyperAIHyperAI

Command Palette

Search for a command to run...

Benötigen wir anisotrope Graph Neural Networks?

Shyam A. Tailor Felix L. Opolka Pietro Liò Nicholas D. Lane

Zusammenfassung

In der Gemeinschaft der Graph Neural Networks (GNNs) gilt seit langem die Auffassung, dass anisotrope Modelle – bei denen die zwischen Knoten ausgetauschten Nachrichten sowohl von der Quelle als auch vom Zielknoten abhängen – notwendig sind, um state-of-the-art-Leistungen zu erzielen. Bislang durchgeführte Benchmarks haben gezeigt, dass solche anisotropen Modelle vergleichbare isotrope Modelle – bei denen die Nachrichten nur von der Quelle abhängen – übertrumpfen. In dieser Arbeit liefern wir empirische Hinweise, die diese gängige Auffassung in Frage stellen: Wir stellen ein isotropes GNN vor, das wir Efficient Graph Convolution (EGC) nennen, das konsistent bessere Ergebnisse erzielt als vergleichbare anisotrope Modelle, darunter die populären Architekturen GAT und PNA, indem es räumlich variierende adaptive Filter nutzt. Neben der Aufwerfung wichtiger Fragen für die GNN-Community weist unsere Arbeit erhebliche praktische Implikationen hinsichtlich Effizienz auf. EGC erreicht eine höhere Modellgenauigkeit bei geringerem Speicherverbrauch und niedrigerer Latenz sowie Eigenschaften, die eine effiziente Implementierung auf Beschleunigerarchitekturen ermöglichen, und ist gleichzeitig eine direkte Ersatzlösung für bestehende Architekturen. Als isotropes Modell benötigt EGC Speicherplatz proportional zur Anzahl der Knoten im Graphen (O(V)\mathcal{O}(V)O(V)); anisotrope Modelle hingegen benötigen Speicherplatz proportional zur Anzahl der Kanten (O(E)\mathcal{O}(E)O(E)). Wir zeigen, dass EGC bestehende Ansätze auf sechs großen und vielfältigen Benchmark-Datensätzen übertrifft, und diskutieren abschließend die zukünftigen Fragen, die unsere Arbeit für die Community aufwirft. Der Quellcode und vortrainierte Modelle für unsere Experimente sind unter https://github.com/shyam196/egc verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp