要約
反復的な1ホップメッセージ伝播に基づくグラフニューラルネットワークは、遠隔ノードからの情報を効果的に活用することが困難であることが示されています。一方、グラフトランスフォーマーは各ノードが他のすべてのノードに直接注意を払うことができますが、グラフの帰納バイアスに欠けており、特設的位置エンコーディングに依存する必要があります。本論文では、これらの課題を解決する新しいアーキテクチャを提案します。当方のアプローチは、深層状態空間モデルによって最近達成された長距離モデリングの画期的な進展に基づいています：特定のターゲットノードに対して、当方のモデルはそのターゲットへの最短距離で他のノードを集約し、線形RNN（リカレントニューラルネットワーク）を使用してホップ表現のシーケンスをエンコードします。線形RNNは安定した長距離信号伝播のために特別な対角形式でパラメータ化され、理論的には近傍階層をエンコードするのに十分な表現力を持っています。位置エンコーディングを必要とせず、我々は実証的に当方のモデルが様々なベンチマークにおいて最先端のグラフトランスフォーマーと同等かそれ以上の性能を持つことを示しており、計算コストも大幅に削減されています。当方のコードはオープンソースで提供されており、https://github.com/skeletondyh/GRED からアクセスできます。この翻訳では、専門用語や技術的概念を正確に翻訳し、日本語での自然な表現を目指しました。また、正式かつ客観的な学術・技術ニュースの書き方スタイルを維持しています。