15日前

連続的グラフ拡散関数空間におけるGraph Neural Networksの再考と再設計

Tingting Dan, Jiaqi Ding, Ziquan Wei, Shahar Z Kovalsky, Minjeong Kim, Won Hwa Kim, Guorong Wu
連続的グラフ拡散関数空間におけるGraph Neural Networksの再考と再設計
要約

グラフニューラルネットワーク(GNN)は、ソーシャルネットワークや生物系など多岐にわたる分野で広く利用されている。しかし、GNNの局所性仮定(隣接ノード間でのみ情報交換が可能)により、グラフ内の長距離依存関係やグローバルな構造パターンを捉える能力に制限が生じる。これを解決するため、ブラキストクローネ問題(Brachistochrone problem)に着想を得た変分解析に基づく新たな誘導バイアスを提案する。本フレームワークは、離散的なGNNモデルと連続的な拡散汎関数の間の写像関係を確立する。これにより、連続領域におけるアプリケーション固有の目的関数の設計が可能となり、数学的保証付きの離散的深層モデルの構築が実現する。また、GNNにおける過剰平滑化(over-smoothing)の問題に対して、既存の層間グラフ埋め込みモデルを分析し、それらがグラフ勾配のl2ノルム積分汎関数と等価であることを明らかにした。これは過剰平滑化を引き起こす原因である。画像ノイズ除去におけるエッジ保持フィルタと同様に、グラフ拡散のパターンをグローバルなコミュニティ構造に一致させるために、全変動(Total Variation, TV)を導入する。さらに、モデルの深さと過剰平滑化のトレードオフを解消するための選択的メカニズムを設計し、既存のGNNに容易に統合可能である。加えて、ニューラル輸送方程式(neural transport equation)を用いてグラフ内の拡散フローを予測する、新たな生成的対抗ネットワーク(GAN)を提案する。発散するフローを抑制するため、各コミュニティ内部の輸送を最小化しつつ、コミュニティ間のフローを最大化するように目的関数をカスタマイズする。本研究で提案するGNNモデルは、Cora、Citeseer、Pubmedといった代表的なグラフ学習ベンチマークにおいて、最先端(SOTA)の性能を達成した。

連続的グラフ拡散関数空間におけるGraph Neural Networksの再考と再設計 | 最新論文 | HyperAI超神経