15日前
グラフニューラルネットワークの深さと範囲の分離
Hanqing Zeng, Muhan Zhang, Yinglong Xia, Ajitesh Srivastava, Andrey Malevich, Rajgopal Kannan, Viktor Prasanna, Long Jin, Ren Chen

要約
最先端のグラフニューラルネットワーク(GNN)は、グラフサイズおよびモデルサイズの拡大に対して限界がある。大規模なグラフにおいて、モデルの深さを増すと、受容野(receptive field)が指数関数的に拡大する傾向がある。数層を超えると、2つの根本的な課題が顕在化する:1. 過剰な平滑化(oversmoothing)による表現力の低下、および2. 隣接ノードの爆発的増加に起因する計算コストの増大である。本研究では、GNNの深さと受容野を分離する設計原理を提案する。あるターゲットエンティティ(ノードまたはエッジ)の表現を生成する際、まず局所的なサブグラフを抽出し、そのサブグラフを固定サイズの受容野として用いる。その後、そのサブグラフ上に任意の深さを持つGNNを適用する。適切に抽出されたサブグラフは、少数の重要な隣接ノードを含みつつ、関係のないノードを排除する。このように、GNNは深さが如何に増加しても、グローバルなグラフ全体を「ホワイトノイズ」に平滑化するのではなく、局所的な近傍を情報豊かな表現へと変換する。理論的には、この分離設計はグラフ信号処理(GCN)、関数近似(GraphSAGE)、トポロジー学習(GIN)の観点からGNNの表現力を向上させる。実験的に、最大1億1000万ノードを有する7つのグラフおよび6種類のバックボーンGNNアーキテクチャにおいて、本設計は計算量およびハードウェアコストを桁違いに削減しつつ、顕著な精度向上を達成した。