2 个月前

DeeperGCN:训练更深图卷积网络所需的一切

Guohao Li; Chenxin Xiong; Ali Thabet; Bernard Ghanem
DeeperGCN:训练更深图卷积网络所需的一切
摘要

图卷积网络(GCNs)因其在图上的表示学习能力而受到了广泛关注。与能够利用堆叠非常深层的卷积神经网络(CNNs)不同,当图卷积网络变得更深时,会遇到梯度消失、过平滑和过拟合等问题。这些挑战限制了GCNs在大规模图上的表示能力。本文提出了一种名为DeeperGCN的方法,该方法能够成功且可靠地训练非常深的图卷积网络。我们定义了可微分的广义聚合函数,以统一不同的消息聚合操作(例如均值、最大值)。此外,我们还提出了一种新的归一化层——MsgNorm以及适用于GCNs的预激活版本残差连接。大量实验表明,在开放图基准测试(OGB)上,DeeperGCN在节点属性预测和图属性预测的大规模图学习任务中显著提升了性能。更多详细信息,请访问https://www.deepgcns.org。

DeeperGCN:训练更深图卷积网络所需的一切 | 最新论文 | HyperAI超神经