纯Transformer在图学习中具有强大的能力

我们证明，无需引入图结构特异性修改，标准Transformer在理论和实践上均能在图学习任务中取得令人瞩目的成果。给定一个图，我们仅将所有节点和边视为独立的标记（tokens），为其添加标记嵌入（token embeddings），并输入到Transformer模型中。在选择合适的标记嵌入的前提下，我们证明该方法在理论上至少具有与由等变线性层构成的不变性图网络（2-IGN）相当的表达能力，而2-IGN本身已比所有消息传递型图神经网络（GNN）更具表达能力。在大规模图数据集PCQM4Mv2上进行训练时，我们提出的Tokenized Graph Transformer（TokenGT）方法显著优于现有的GNN基线模型，并在性能上与具备复杂图结构归纳偏置的Transformer变体相媲美。相关代码实现已开源，地址为：https://github.com/jw9730/tokengt。