12日前

グラフニューラルネットワークを用いた効率的な位置符号化の学習

{Alejandro Ribeiro, Jure Leskovec, Stephanie Jegelka, Evelyn Choi, Charilaos I. Kanatsoulis}
グラフニューラルネットワークを用いた効率的な位置符号化の学習
要約

位置符号(Positional Encodings, PEs)は、本質的に位置に依存しないトランスフォーマー構造において位置情報の認識を提供し、グラフニューラルネットワーク(GNN)の表現能力を向上させるために、効果的なグラフ表現学習において不可欠である。しかし、グラフにおける標準的なノード順序の欠如およびグラフのスケールの大きさという要因により、強力かつ効率的なPEを設計することは大きな課題である。本研究では、グラフ用PEが満たすべき4つの重要な性質——安定性、表現力、スケーラビリティ、汎用性——を同定する。我々は、従来の固有ベクトルに基づくPE手法がこれらの条件を同時に満たすことが難しいことを明らかにした。このギャップを埋めるために、我々はグラフ用の学習可能なPEを実現する新規フレームワーク「PEARL」を提案する。本研究の核心的な洞察は、メッセージパッシング型GNNが固有ベクトルの非線形写像として機能することであり、これにより強力かつ効率的なPEを生成するためのGNNアーキテクチャの設計が可能になるということである。重要な課題として、表現力と順列等価性(permutation equivariance)の両立を保った形でノード特徴を初期化する必要がある。我々は、GNNをランダムなノード入力または標準基底ベクトルで初期化することで、メッセージパッシング操作の表現力を引き出し、同時に統計的プーリング関数を用いて順列等価性を維持することにより、この課題に対処した。解析の結果、PEARLは固有ベクトルの等価関数を線形計算量で近似可能であり、安定性および高い表現力が厳密に保証されることを示した。実験評価の結果、PEARLは固有ベクトルに基づく軽量版PEよりも優れた性能を示し、完全な固有ベクトルベースのPEと同等の性能を達成しつつ、計算量は1〜2桁低いという顕著な効率性を実現した。

グラフニューラルネットワークを用いた効率的な位置符号化の学習 | 最新論文 | HyperAI超神経