Command Palette
Search for a command to run...
Rekurrentes Distanzfiltern für das Lernen von Graphrepräsentationen
Rekurrentes Distanzfiltern für das Lernen von Graphrepräsentationen
Yuhui Ding Antonio Orvieto Bobby He Thomas Hofmann
Zusammenfassung
Neuronale Netze auf Graphen, die auf iterativer Nachrichtenübermittlung über ein Hop basieren, haben Schwierigkeiten gezeigt, Informationen von entfernten Knoten effektiv zu nutzen. Im Gegensatz dazu ermöglichen Graph-Transformers jedem Knoten eine direkte Aufmerksamkeit auf alle anderen Knoten, verfügen aber nicht über einen graphischen induktiven Bias und müssen sich auf ad-hoc positionale Codierung stützen. In dieser Arbeit schlagen wir eine neue Architektur vor, um diese Herausforderungen zu bewältigen. Unser Ansatz basiert auf den jüngsten Durchbrüchen im langreichweitigen Modellieren durch tiefgreifende Zustandsraummodelle: Für einen gegebenen Zielknoten aggregiert unser Modell andere Knoten nach ihren kürzesten Abständen zum Ziel und verwendet ein lineares RNN (Recurrent Neural Network), um die Sequenz der Hop-Darstellungen zu kodieren. Das lineare RNN ist in einer speziellen diagonalen Form parametrisiert, um eine stabile langreichweitige Signalübertragung zu gewährleisten und ist theoretisch ausdrucksstark genug, um die Nachbarschaftshierarchie zu kodieren. Ohne positionale Codierung benötigt werden, zeigen wir empirisch, dass die Leistung unseres Modells vergleichbar oder besser als die der neuesten Graph-Transformers bei verschiedenen Benchmarks ist, wobei der Rechenaufwand erheblich reduziert wird. Unser Code ist Open Source unter https://github.com/skeletondyh/GRED.