要約
最近、グラフ表現学習のためのトランスフォーマーが急速に注目を集め、単独でまたはメッセージ伝播型グラフニューラルネットワーク（MP-GNN）と組み合わせて、多様なグラフデータセットにおいて最先端の性能を達成しています。構造に無関心なトランスフォーマーアーキテクチャに構造的または位置的なエンコーディング（PEs）の形でグラフの帰納バイアスを注入することは、これらの印象的な結果を得る上で重要な役割を果たしています。しかし、そのようなエンコーディングを設計することは難しく、ラプラシアン固有ベクトル、相対的ランダムウォーク確率（RRWP）、空間エンコーディング、中心性エンコーディング、エッジエンコーディングなど、さまざまな試みが行われています。本研究では、注意機構自体がグラフ構造に関する情報を組み込むことができれば、このようなエンコーディングは必要ない可能性があると主張します。私たちはEigenformerという新しいスペクトラム認識型注意機構を備えたグラフトランスフォーマーを提案し、実験的にこれが標準的なGNNベンチマークにおいて最先端のグラフトランスフォーマーと競合する性能を達成することを示しました。さらに、理論的にEigenformerが様々なグラフ構造接続行列を表現できることを証明しており、これは特に小さなグラフでの学習において重要です。