2 个月前

打破图神经网络的表达瓶颈

Mingqi Yang; Yanming Shen; Heng Qi; Baocai Yin
打破图神经网络的表达瓶颈
摘要

近日,Weisfeiler-Lehman (WL) 图同构测试被用于衡量图神经网络(GNNs)的表达能力,研究表明,基于邻域聚合的图神经网络在区分图结构方面的能力最多与1-WL测试相当。此外,也有研究提出了一些类似于$k$-WL测试($k>1$)的改进方法。然而,这些图神经网络中的聚合器远未达到WL测试所要求的单射性,并且其区分能力较弱,成为表达能力的瓶颈。本文通过探索强大的聚合器来提高表达能力。我们重新定义了聚合过程及其对应的聚合系数矩阵,并系统地分析了构建更强大甚至单射聚合器所需的聚合系数矩阵的要求。这一过程也可以视为保留隐藏特征秩的一种策略,并表明基本聚合器对应于低秩变换的一个特例。我们还展示了在聚合前应用非线性单元的必要性,这与大多数基于聚合的图神经网络不同。基于我们的理论分析,我们开发了两种图神经网络层:ExpandingConv 和 CombConv。实验结果表明,我们的模型显著提升了性能,尤其是在处理大型和密集连接的图时。