15日前
グラフニューラルネットワークにおける過剰なスムージング問題の測定と緩和に関するトポロジー視点からのアプローチ
Deli Chen, Yankai Lin, Wei Li, Peng Li, Jie Zhou, Xu Sun

要約
グラフニューラルネットワーク(GNN)は、多様なグラフベースのタスクにおいて有望な性能を達成している。しかし、その成功にもかかわらず、GNNに大きな制約として「過平滑化(over-smoothing)」問題がある。これは、異なるクラスに属するノードの表現が同一視されてしまう現象であり、モデルの表現力に深刻な影響を及ぼす。本研究では、GNNの過平滑化問題について、体系的かつ定量的な分析を行う。まず、ノード表現の平滑化度と過平滑化度をそれぞれ測定するための2つの定量的指標、MAD(Mean Absolute Deviation)とMADGapを導入する。次に、平滑化はGNNの本質的な性質であることを検証し、過平滑化を引き起こす主な要因が、ノードが受信するメッセージにおける情報対ノイズ比の低さであることを明らかにした。この比は、グラフのトポロジーによって部分的に決定される。最後に、グラフのトポロジーの観点から過平滑化を緩和するための2つの手法を提案する。(1)MADReg:MADGapに基づく正則化項を学習目的関数に追加する手法。(2)AdaGraph:モデルの予測に基づいてグラフトポロジーを最適化する手法。10種類の代表的なGNNモデルを用いて、7つの広く用いられているグラフデータセット上で実施した広範な実験の結果、提案手法が過平滑化問題の緩和に有効であり、さまざまなGNNモデルの性能向上を実現できることを確認した。