Command Palette
Search for a command to run...
Filtrage de Distance Récurrent pour l'Apprentissage de Représentation de Graphes
Filtrage de Distance Récurrent pour l'Apprentissage de Représentation de Graphes
Yuhui Ding Antonio Orvieto Bobby He Thomas Hofmann
Résumé
Les réseaux neuronaux sur graphes basés sur la transmission de messages itérative à un saut ont été montrés inefficaces pour exploiter les informations provenant de nœuds éloignés. À l'inverse, les graph transformers permettent à chaque nœud d'interagir directement avec tous les autres nœuds, mais manquent de biais inductif graphique et doivent s'appuyer sur une encodage positionnel ad hoc. Dans cet article, nous proposons une nouvelle architecture pour concilier ces défis. Notre approche s'inspire des récentes avancées en modélisation à longue portée fournies par les modèles d'espace d'état profonds : pour un nœud cible donné, notre modèle agrège les autres nœuds selon leurs plus courtes distances au nœud cible et utilise une RNN linéaire pour encoder la séquence des représentations de sauts. La RNN linéaire est paramétrée sous une forme diagonale particulière pour assurer une propagation stable du signal à longue portée et est théoriquement suffisamment expressive pour encoder la hiérarchie des voisinages. Sans nécessité d'encodage positionnel, nous démontrons empiriquement que les performances de notre modèle sont comparables ou supérieures à celles des graph transformers de pointe sur divers benchmarks, avec un coût computationnel considérablement réduit. Notre code est open-source à l'adresse suivante : https://github.com/skeletondyh/GRED.