15日前

DeltaGNN:情報フロー制御を備えたグラフニューラルネットワーク

Kevin Mancini, Islem Rekik
DeltaGNN:情報フロー制御を備えたグラフニューラルネットワーク
要約

グラフニューラルネットワーク(GNN)は、メッセージパッシングプロセスにおける隣接ノードの再帰的集約を通じて、グラフ構造データを処理するための代表的な深層学習モデルである。半教師ありノード分類への適用において、メッセージパッシングは短距離空間的相互作用を理解する能力を提供するが、同時に過剰なスムージング(over-smoothing)と過剰な圧縮(over-squashing)という問題を引き起こす。これらの課題はモデルの表現力の制限を生み出し、グラフ内における長距離ノード相互作用(LRIs: Long-Range Interactions)を捉えるためにより深いモデルを活用することを困難にしている。既存のLRIs検出手法は、大規模グラフ処理において時間計算量が高いため計算コストが莫大であるか、あるいは多様なグラフ構造に対して一般化能力に欠けるという課題を抱えている。本研究では、これらの制約を克服するため、線形計算オーバーヘッドで過剰スムージングおよび過剰圧縮を緩和できる「情報フロー制御」という新規メカニズムを提案する。このメカニズムは、新規に導入した接続性指標「情報フロースコア」を活用しており、理論的裏付けも提供している。さらに、本手法の有効性を検証するため、長距離および短距離相互作用を同時に検出可能な、初めてのスケーラブルかつ一般化可能なアプローチ「DeltaGNN」を設計した。我々は、サイズ・トポロジー・密度・同質性比が異なる10種類の実世界データセットを用いてモデルをベンチマーク化し、計算複雑度を抑えつつ優れた性能を示した。提案手法の実装コードは、https://github.com/basiralab/DeltaGNN にて公開されている。

DeltaGNN:情報フロー制御を備えたグラフニューラルネットワーク | 最新論文 | HyperAI超神経