16 天前
具有可学习结构与位置表示的图神经网络
Vijay Prakash Dwivedi, Anh Tuan Luu, Thomas Laurent, Yoshua Bengio, Xavier Bresson

摘要
图神经网络(Graph Neural Networks, GNNs)已成为图数据的标准学习架构,广泛应用于量子化学、推荐系统、知识图谱以及自然语言处理等多个领域。然而,对于任意图结构而言,节点缺乏规范化的位置信息,这限制了GNN在区分同构节点及其他图对称性方面的表示能力。为应对这一挑战,一种有效方法是引入节点的位置编码(Positional Encoding, PE),并将其注入网络的输入层,类似于Transformer中的处理方式。常见的图结构位置编码包括拉普拉斯矩阵的特征向量。在本工作中,我们提出将结构表示与位置表示进行解耦,以帮助网络更有效地学习这两种关键属性。为此,我们设计了一种新颖的通用架构,命名为LSPE(Learnable Structural and Positional Encodings,可学习的结构与位置编码)。我们在多种稀疏和全连接(类Transformer)的GNN模型上进行了实验,结果表明,当为这两类GNN均引入可学习的位置编码时,在分子数据集上的性能提升显著,最高可达64.14%,最低亦有1.79%的提升。