15日前

適応型グラフ拡散ネットワーク

Chuxiong Sun, Jie Hu, Hongming Gu, Jinpeng Chen, Mingchuan Yang
適応型グラフ拡散ネットワーク
要約

グラフニューラルネットワーク(GNN)は、グラフディープラーニング分野において注目を集めている。しかし、最近の研究は実証的および理論的に、深層GNNが過学習(over-fitting)および過平滑化(over-smoothing)の問題に直面することを示している。従来の解決策は、深層GNNの長時間実行を根本的に解決できないか、あるいはグラフ畳み込みを同一の特徴空間に制限してしまうという課題を抱えている。本研究では、中程度の計算複雑度と実行時間で、異なる特徴空間において多層の一般化グラフ拡散を実行する、適応型グラフ拡散ネットワーク(Adaptive Graph Diffusion Networks; AGDN)を提案する。従来のグラフ拡散手法は、遷移行列の高次かつ密な累乗を事前に定義された重み係数で結合するが、AGDNはより小さな多ホップ(multi-hop)ノード表現を、学習可能な一般化された重み係数で組み合わせる。多ホップ情報を効果的に捉えるために、2つのスケーラブルな重み係数の機構を提案する:ホップ単位のアテンション(Hop-wise Attention; HA)とホップ単位の畳み込み(Hop-wise Convolution; HC)。AGDNは、半教師ありノード分類およびリンク予測タスクを対象とした多様かつ困難なOpen Graph Benchmark(OGB)データセット上で評価された。本論文の提出日(2022年8月26日)時点で、AGDNは ogbn-arxiv、ogbn-proteins、ogbl-ddi データセットでトップ1の性能を達成し、ogbl-citation2 データセットではトップ3の性能を記録した。同程度のTesla V100 GPU環境下で、ogbn-proteinsデータセットにおいて、AGDNはReversible GNN(RevGNN)に対して、計算量を13%、学習実行時間を1%に抑える一方で、性能を上回った。また、ogbl-citation2データセットでは、SEALと同等の性能を達成しつつ、学習実行時間を36%、推論実行時間を0.2%にまで削減した。

適応型グラフ拡散ネットワーク | 最新論文 | HyperAI超神経