15 天前

解耦图神经网络的深度与广度

Hanqing Zeng, Muhan Zhang, Yinglong Xia, Ajitesh Srivastava, Andrey Malevich, Rajgopal Kannan, Viktor Prasanna, Long Jin, Ren Chen
解耦图神经网络的深度与广度
摘要

当前最先进的图神经网络(GNNs)在图规模和模型深度方面均面临显著的可扩展性瓶颈。在大规模图上,增加模型深度通常会导致感受野(receptive field)呈指数级扩张。当网络层数超过几层后,会面临两个根本性挑战:其一,由于过度平滑(oversmoothing)导致模型表达能力下降;其二,由于邻域爆炸(neighborhood explosion)引发计算成本急剧上升。为此,我们提出一种新型设计原则,旨在解耦GNN的深度与感受野范围——针对目标实体(如节点或边)生成表示时,首先提取一个局部子图作为受限大小的感受野,随后在该子图上应用任意深度的GNN进行建模。通过合理提取的子图,仅包含少量关键邻居,同时剔除无关节点,从而有效控制信息传播范围。无论GNN深度如何,其作用均局限于局部邻域,将邻域信息凝聚为富有语义的表示,而非对整个全局图进行过度平滑,导致特征退化为“白噪声”。理论上,该解耦机制从图信号处理(GCN)、函数逼近(GraphSAGE)以及拓扑学习(GIN)三个视角均显著提升了GNN的表达能力。实验上,在七个大规模图(节点数高达1.1亿)和六种主流GNN骨干架构上,该设计在实现显著精度提升的同时,将计算开销和硬件资源消耗降低了一个数量级甚至更多。

解耦图神经网络的深度与广度 | 最新论文 | HyperAI超神经