15日前

GResNet:停止状態にある深層GNNを復活させるためのグラフ残留ネットワーク

Jiawei Zhang, Lin Meng
GResNet:停止状態にある深層GNNを復活させるためのグラフ残留ネットワーク
要約

既存のスペクトルグラフ畳み込み演算子に基づくグラフニューラルネットワーク(GNN)は、特に深層アーキテクチャを持つモデルにおいて顕著な性能劣化が報告されており、その点が批判の対象となっている。本論文では、こうした既存GNNにおける「停止状態問題(suspended animation problem)」をさらに特定する。この問題は、モデルの深さが停止状態限界に達した際に発生し、モデルが訓練データに対して応答しなくなり、学習不能な状態に陥ることを意味する。本論文では、既存GNNにおける停止状態問題の原因について詳細な分析を行うとともに、この問題に影響を与える他の周辺要因についても報告する。問題の解決に向けて、本論文ではGResNet(Graph Residual Network)フレームワークを提案する。このフレームワークは、すべてのモデル層にわたり、ノードの元の特徴量または中間表現を広範に接続されたハイウェイを通じて統合する仕組みを構築している。他の学習設定とは異なり、グラフデータにおける広範な接続性は、従来の単純なリジッド学習手法が機能しなくなる。本論文では、ノルム保存の観点から導入された新たなグラフリジッド項の有効性を理論的に証明し、連続する層間でのノード表現の急激な変化を回避する効果を示す。さらに、GCN、GAT、LoopyNetなど既存の多数のGNNモデルに対してGResNetフレームワークの適用を詳細に検討し、実世界のベンチマークデータセットを用いた広範な実験を通じてその有効性を検証する。

GResNet:停止状態にある深層GNNを復活させるためのグラフ残留ネットワーク | 最新論文 | HyperAI超神経