变压器在图表示中真的表现不佳吗？

Transformer架构已在许多领域成为主导选择，例如自然语言处理和计算机视觉。然而，与主流图神经网络（GNN）变体相比，它在流行的图级预测排行榜上尚未取得具有竞争力的性能。因此，如何使Transformer在图表示学习中表现出色仍然是一个谜。本文通过提出Graphormer解决了这一谜题，该模型基于标准的Transformer架构构建，并能在广泛的图表示学习任务中取得优异的结果，尤其是在最近的OGB大规模挑战赛中。我们利用Transformer进行图表示学习的关键见解在于有效编码图的结构信息到模型中的必要性。为此，我们提出了几种简单而有效的结构编码方法，以帮助Graphormer更好地建模图结构数据。此外，我们从数学角度表征了Graphormer的表达能力，并展示了通过我们的图结构信息编码方式，许多流行的GNN变体可以作为Graphormer的特例被涵盖。