トランスフォーマーは本当にグラフ表現に適していないのか？

トランスフォーマー構造は、自然言語処理やコンピュータビジョンなど多くの分野で主流の選択肢となっています。しかし、グラフレベルの予測における一般的なリーダーボードでは、主流のGNN（Graph Neural Network）変種に比べて競争力のある性能を達成できていません。したがって、トランスフォーマーがグラフレプリゼンテーション学習においてどのように優れたパフォーマンスを発揮できるかは謎でした。本論文では、この謎を解くためにGraphormerを提案します。Graphormerは標準的なトランスフォーマー構造に基づいて構築され、幅広いグラフレプリゼンテーション学習タスクで優れた結果を得ることができ、特に最近のOGB（Open Graph Benchmark）大規模チャレンジにおいて顕著な成果を上げています。我々の主な洞察は、グラフ内の構造情報を効果的にモデルにエンコードすることが必要であるということです。これにより、我々はいくつかの単純ながら効果的な構造エンコーディング手法を提案し、Graphormerがよりよくグラフ構造データをモデル化できるようにしています。さらに、我々はGraphormerの表現力を数学的に特徴付け、我々の方法でグラフの構造情報をエンコードすることで、多くの人気のあるGNN変種がGraphormerの特別なケースとしてカバーされることを示しています。