15日前

Half-Hop:メッセージ伝達を遅らせるためのグラフアップサンプリング手法

Mehdi Azabou, Venkataramana Ganesh, Shantanu Thakoor, Chi-Heng Lin, Lakshmi Sathidevi, Ran Liu, Michal Valko, Petar Veličković, Eva L. Dyer
Half-Hop:メッセージ伝達を遅らせるためのグラフアップサンプリング手法
要約

メッセージパスングラフニューラルネットワークは、グラフ構造データにおいて大きな成功を収めてきた。しかし、隣接ノードが異なるクラスに属する場合など、メッセージパスニングが過剰なスムージングを引き起こすか、あるいは学習に失敗するケースが多数存在する。本研究では、メッセージパスニングニューラルネットワークの学習性能を向上させる、シンプルかつ汎用的なフレームワークを提案する。本手法は、元のグラフの各辺に「スローノード(slow nodes)」を追加することで、ソースノードとターゲットノード間の通信を調整する役割を担わせる。このアプローチは入力グラフのみを変更するため、既存モデルと容易に統合可能であり、プラグアンドプレイな設計となっている。メッセージパスニングを遅らせる利点を理解するために、理論的および実証的な分析を提供する。複数の教師ありおよび自己教師ありベンチマークにおける実験結果から、特に隣接ノードが異なるラベルを持つ可能性が高い異質性(heterophilic)な条件下で、全体的に性能向上が確認された。さらに、本手法が自己教師あり学習におけるデータ拡張(augmentation)生成に利用可能であることも示した。具体的には、グラフ内の異なる辺にスローノードをランダムに導入することで、異なるパス長を持つマルチスケールなビューを生成できる。

Half-Hop:メッセージ伝達を遅らせるためのグラフアップサンプリング手法 | 最新論文 | HyperAI超神経