純粋なTransformerは強力なグラフ学習器である

グラフ固有の修正を施さない標準的なTransformerが、理論的にも実践的にもグラフ学習において有望な結果をもたらすことを示す。与えられたグラフに対して、単にすべてのノードとエッジを独立したトークンとして扱い、トークン埋め込みを付加した後、Transformerに投入する。適切なトークン埋め込みの選択により、このアプローチが不変グラフネットワーク（2-IGN）— これは等変線形層から構成され、既にすべてのメッセージパッシング型グラフニューラルネットワーク（GNN）よりも表現力が優れている— と同等以上に表現力を持つことを理論的に証明する。大規模グラフデータセット（PCQM4Mv2）上で訓練した本手法、すなわち「トークン化グラフTransformer（TokenGT）」は、GNNベースラインと比較して顕著に優れた結果を達成し、高度なグラフ固有の誘導バイアスを備えたTransformerの変種と比べても競争力のある性能を示す。実装コードは以下のURLで公開されている：https://github.com/jw9730/tokengt。