颜色中的自注意力机制：在Transformer中编码图结构的另一种视角

我们提出一种新型的自注意力机制，称为CSA（Chromatic Self-Attention），该机制将注意力得分的概念拓展为注意力滤波器（attention filters），并独立地对特征通道进行调制。我们将在一种全注意力图Transformer模型CGT（Chromatic Graph Transformer）中展示CSA的应用，该模型同时融合图的结构信息与边特征，完全摒弃了传统局部消息传递（message-passing）组件的依赖。通过引入相对位置编码机制，对原始边特征进行丰富，我们的方法能够灵活地通过节点-节点交互来编码图结构。我们进一步提出一种基于随机游走的新编码方案，可同时捕捉结构与位置信息，并展示了如何引入更高阶的拓扑信息（如分子图中的环结构）。实验结果表明，该方法在ZINC基准数据集上取得了当前最优性能，同时构建了一个灵活的图结构编码框架，能够有效融合高阶拓扑特征。