15 天前

通用深度图神经网络:从路径分解视角重新思考图神经网络中的残差连接以防止过平滑

Jie Chen, Weiqi Liu, Zhizhong Huang, Junbin Gao, Junping Zhang, Jian Pu
通用深度图神经网络:从路径分解视角重新思考图神经网络中的残差连接以防止过平滑
摘要

由于过平滑(over-smoothing)问题,随着深度增加,图神经网络(GNNs)的性能会逐渐下降。在多种缓解过平滑的尝试中,残差连接(residual connection)因其结构简单而成为一种颇具前景的方法。然而,近期研究表明,仅采用残差连接的GNNs仅能略微延缓性能退化。目前,残差连接在GNN中失效的根本原因仍不明确。本文从一种新颖的路径分解视角,系统研究了带有残差连接的GNN在前向传播与反向传播中的行为。我们发现,残差连接路径遵循二项分布,其递归聚合的中位长度路径主导了输出表示,导致GNN随着深度增加而产生过平滑现象。同时,信息传播的纠缠特性以及权重矩阵的结构共同引发梯度平滑,阻碍了带有残差连接的GNN优化至恒等映射(identity mapping)。基于上述发现,我们提出一种通用的深度GNN框架——通用深度图神经网络(Universal Deep GNNs, UDGNN),其核心包含冷启动自适应残差连接机制(DRIVE)与前馈模块。大量实验结果表明,该方法具有显著有效性:仅通过堆叠标准GNN结构,即可在非同质性(heterophily)数据集上实现当前最优性能,显著提升了深度GNN在复杂图结构上的表达能力与稳定性。

通用深度图神经网络:从路径分解视角重新思考图神经网络中的残差连接以防止过平滑 | 最新论文 | HyperAI超神经