Transformer 中无消息传递的图归纳偏置

图数据的Transformer模型近年来受到广泛关注，并在众多学习任务中取得了显著成功。图结构的归纳偏置（graph inductive biases）对于图Transformer至关重要，以往的研究通常通过消息传递模块（message-passing modules）和/或位置编码（positional encodings）来引入此类偏置。然而，依赖消息传递的图Transformer继承了消息传递机制固有的问题，且其架构与在其他领域（如自然语言处理）中广泛应用的Transformer存在显著差异，导致跨领域研究成果的迁移变得困难。另一方面，不使用消息传递的图Transformer在小型数据集上表现往往较差，而此类数据集恰恰更依赖于强归纳偏置。为弥合这一差距，我们提出了一种新型图Transformer——图归纳偏置Transformer（Graph Inductive bias Transformer, GRIT），其在不使用消息传递机制的前提下，有效融入了图结构的归纳偏置。GRIT基于一系列经过理论分析与实证验证的架构改进，包括：基于随机游走概率初始化的可学习相对位置编码、能够动态更新节点及节点对表示的灵活注意力机制，以及在每一层中注入节点度信息的设计。我们证明了GRIT具有高度表达能力——它能够精确表达最短路径距离以及多种图传播矩阵。在多种图数据集上的实验表明，GRIT取得了当前最优的实证性能，充分展现了无需消息传递机制的图Transformer所具备的强大潜力。