HyperAIHyperAI

Command Palette

Search for a command to run...

再帰的距離フィルタリングによるグラフ表現学習

Yuhui Ding Antonio Orvieto Bobby He Thomas Hofmann

概要

反復的な1ホップメッセージ伝播に基づくグラフニューラルネットワークは、遠隔ノードからの情報を効果的に活用することが困難であることが示されています。一方、グラフトランスフォーマーは各ノードが他のすべてのノードに直接注意を払うことができますが、グラフの帰納バイアスに欠けており、特設的位置エンコーディングに依存する必要があります。本論文では、これらの課題を解決する新しいアーキテクチャを提案します。当方のアプローチは、深層状態空間モデルによって最近達成された長距離モデリングの画期的な進展に基づいています:特定のターゲットノードに対して、当方のモデルはそのターゲットへの最短距離で他のノードを集約し、線形RNN(リカレントニューラルネットワーク)を使用してホップ表現のシーケンスをエンコードします。線形RNNは安定した長距離信号伝播のために特別な対角形式でパラメータ化され、理論的には近傍階層をエンコードするのに十分な表現力を持っています。位置エンコーディングを必要とせず、我々は実証的に当方のモデルが様々なベンチマークにおいて最先端のグラフトランスフォーマーと同等かそれ以上の性能を持つことを示しており、計算コストも大幅に削減されています。当方のコードはオープンソースで提供されており、https://github.com/skeletondyh/GRED からアクセスできます。この翻訳では、専門用語や技術的概念を正確に翻訳し、日本語での自然な表現を目指しました。また、正式かつ客観的な学術・技術ニュースの書き方スタイルを維持しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
再帰的距離フィルタリングによるグラフ表現学習 | 記事 | HyperAI超神経