HyperAIHyperAI

Command Palette

Search for a command to run...

Rekurrentes Distanzfiltern für das Lernen von Graphrepräsentationen

Yuhui Ding Antonio Orvieto Bobby He Thomas Hofmann

Zusammenfassung

Neuronale Netze auf Graphen, die auf iterativer Nachrichtenübermittlung über ein Hop basieren, haben Schwierigkeiten gezeigt, Informationen von entfernten Knoten effektiv zu nutzen. Im Gegensatz dazu ermöglichen Graph-Transformers jedem Knoten eine direkte Aufmerksamkeit auf alle anderen Knoten, verfügen aber nicht über einen graphischen induktiven Bias und müssen sich auf ad-hoc positionale Codierung stützen. In dieser Arbeit schlagen wir eine neue Architektur vor, um diese Herausforderungen zu bewältigen. Unser Ansatz basiert auf den jüngsten Durchbrüchen im langreichweitigen Modellieren durch tiefgreifende Zustandsraummodelle: Für einen gegebenen Zielknoten aggregiert unser Modell andere Knoten nach ihren kürzesten Abständen zum Ziel und verwendet ein lineares RNN (Recurrent Neural Network), um die Sequenz der Hop-Darstellungen zu kodieren. Das lineare RNN ist in einer speziellen diagonalen Form parametrisiert, um eine stabile langreichweitige Signalübertragung zu gewährleisten und ist theoretisch ausdrucksstark genug, um die Nachbarschaftshierarchie zu kodieren. Ohne positionale Codierung benötigt werden, zeigen wir empirisch, dass die Leistung unseres Modells vergleichbar oder besser als die der neuesten Graph-Transformers bei verschiedenen Benchmarks ist, wobei der Rechenaufwand erheblich reduziert wird. Unser Code ist Open Source unter https://github.com/skeletondyh/GRED.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp