HyperAIHyperAI

Command Palette

Search for a command to run...

DRew:遅延を伴う動的再接続メッセージパッシング

Benjamin Gutteridge Xiaowen Dong Michael Bronstein Francesco Di Giovanni

概要

メッセージパスングニューラルネットワーク(MPNN)は、長距離相互作用に依存するタスクにおいて性能が低下する「過剰圧縮(over-squashing)」という現象に悩まされていることが示されている。この原因の大部分は、メッセージの伝達がノードの近傍ノード間でのみ局所的に行われることに起因する。長距離タスクに適したグラフの「より高い接続性」を実現しようと試みるリワイヤリング手法は、しばしば各層で遠方のノード間が即座に通信可能になるため、グラフ上の距離に基づく誘導バイアス(inductive bias)を失ってしまうという問題を抱えている。本論文では、任意のMPNNアーキテクチャに適用可能なフレームワークを提案する。このフレームワークは、層ごとに適応的なリワイヤリングを実行することで、グラフの段階的稠密化を確保する。さらに、層とノード間の相互距離に応じてスキップ接続を許容する遅延機構(delay mechanism)も提案する。我々の手法は複数の長距離タスクにおいて検証され、グラフTransformerおよびマルチホップMPNNを上回る性能を示した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
DRew:遅延を伴う動的再接続メッセージパッシング | 記事 | HyperAI超神経