摘要
近年来，用于图表示学习的Transformer模型越来越受欢迎，在各种图数据集上取得了最先进的性能，无论是单独使用还是与消息传递图神经网络（MP-GNNs）结合使用。在本质上对结构无感知的Transformer架构中注入图归纳偏置，以结构编码或位置编码（PEs）的形式，是实现这些令人印象深刻的结果的关键。然而，设计这样的编码非常棘手，不同的尝试包括拉普拉斯特征向量、相对随机游走概率（RRWP）、空间编码、中心性编码、边编码等。在这项工作中，我们认为如果注意力机制本身能够包含有关图结构的信息，则可能根本不需要这些编码。我们引入了Eigenformer，这是一种采用新颖的谱觉知注意力机制的图Transformer模型，该机制能够识别图的拉普拉斯谱。实验结果表明，Eigenformer在多个标准GNN基准测试中达到了与最先进的图Transformer相当的性能。此外，我们从理论上证明了Eigenformer可以表达各种图结构连通矩阵，这在学习较小规模的图时尤为重要。