变压器遇见有向图

变压器最初被提出作为文本的序列到序列模型，但现已发展成为多种模态的关键技术，包括图像、音频、视频和无向图。然而，尽管有向图在源代码和逻辑电路等普遍领域具有广泛的应用前景，但针对有向图的变压器研究却出乎意料地较少。在这项工作中，我们提出了两种方向感知和结构感知的位置编码方法用于有向图：（1）磁拉普拉斯矩阵的特征向量——这是组合拉普拉斯矩阵的方向感知泛化；（2）方向随机游走编码。通过实证研究，我们展示了额外的方向信息在各种下游任务中非常有用，例如排序网络的正确性测试和源代码理解。结合以数据流为中心的图构建方法，我们的模型在Open Graph Benchmark Code2数据集上相比之前的技术水平相对提高了14.7%。