摘要
当前主流的图神经网络（GNNs）过度依赖图结构连接关系，已暴露出若干严重性能问题，例如“停滞现象”（suspended animation problem）和“过平滑问题”（over-smoothing problem）。此外，图结构固有的高度互联特性限制了图内并行化处理，这对大规模图数据尤为关键，因为内存约束使得跨节点的批量处理难以实现。本文提出一种全新的图神经网络——GRAPH-BERT（基于图的BERT），该模型完全基于注意力机制构建，不包含任何图卷积或聚合操作。与传统方法将完整的大规模输入图输入模型不同，我们提出在局部上下文环境中，使用无连接的采样子图对GRAPH-BERT进行训练。该模型可在独立模式下高效学习。同时，预训练的GRAPH-BERT可直接迁移至其他应用任务，或在具备监督标签信息或特定应用目标的情况下，通过必要的微调实现适配。我们在多个图基准数据集上验证了GRAPH-BERT的有效性。基于节点属性重建与结构恢复任务进行预训练后，我们进一步在节点分类与图聚类任务上对GRAPH-BERT进行微调。实验结果表明，GRAPH-BERT在学习效率与效果方面均优于现有的各类图神经网络。