11日前
DRew:遅延を伴う動的再接続メッセージパッシング
Benjamin Gutteridge, Xiaowen Dong, Michael Bronstein, Francesco Di Giovanni

要約
メッセージパスングニューラルネットワーク(MPNN)は、長距離相互作用に依存するタスクにおいて性能が低下する「過剰圧縮(over-squashing)」という現象に悩まされていることが示されている。この原因の大部分は、メッセージの伝達がノードの近傍ノード間でのみ局所的に行われることに起因する。長距離タスクに適したグラフの「より高い接続性」を実現しようと試みるリワイヤリング手法は、しばしば各層で遠方のノード間が即座に通信可能になるため、グラフ上の距離に基づく誘導バイアス(inductive bias)を失ってしまうという問題を抱えている。本論文では、任意のMPNNアーキテクチャに適用可能なフレームワークを提案する。このフレームワークは、層ごとに適応的なリワイヤリングを実行することで、グラフの段階的稠密化を確保する。さらに、層とノード間の相互距離に応じてスキップ接続を許容する遅延機構(delay mechanism)も提案する。我々の手法は複数の長距離タスクにおいて検証され、グラフTransformerおよびマルチホップMPNNを上回る性能を示した。