VQ-GNN: ベクトル量子化を使用したグラフニューラルネットワークの拡大のための普遍的フレームワーク

最新のグラフニューラルネットワーク（GNN）は、直接の近傍やそれ以上の間でのメッセージ伝播によって実現されるグラフ畳み込みの一種として定義することができます。このようなGNNを大規模なグラフに拡張するために、さまざまな近傍サンプリング、層サンプリング、または部分グラフサンプリング技術が提案されています。これらの方法は、「近傍爆発」問題を緩和し、ミニバッチ内のノードに渡されるメッセージの小さなサブセットのみを考慮することで対処します。しかし、サンプリングベースの手法は、各層で多くのホップ先や全体的なコンテキストを利用するGNNには適用が難しく、異なるタスクやデータセットに対して不安定な性能を示し、モデル推論の高速化にも寄与しません。そこで我々は、パフォーマンスを損なうことなく任意の畳み込みベースのGNNを拡張するための普遍的なフレームワークであるVQ-GNNを提案します。これはベクトル量子化（VQ）を使用した根本的に異なるアプローチです。我々の手法は、サンプリングベースの技術とは異なり、各GNN層内でVQを使用して全メッセージを効果的に保存できます。これは、学習および更新された少量の全体的なノード表現の量子化参照ベクトルによって達成されます。我々のフレームワークは、「近傍爆発」問題を量子化表現と低ランク版のグラフ畳み込み行列を使用して回避します。理論的にも実験的にも、巨大な畳み込み行列のこのコンパクトな低ランク版が十分であることを示しています。VQとともに、我々は新しい近似メッセージ伝播アルゴリズムと非自明なバックプロパゲーション規則を設計しました。さまざまな種類のGNNバックボーンに対する実験では、我々のフレームワークの大規模グラフノード分類およびリンク予測ベンチマークにおけるスケーラビリティと競争力のあるパフォーマンスが示されました。