GraphNorm：一种加速图神经网络训练的合理方法

归一化已被证实有助于深度神经网络的优化。然而，令人好奇的是，不同的网络架构往往需要特定的归一化方法。本文研究了在图神经网络（Graph Neural Networks, GNNs）中哪些归一化方法是有效的。首先，我们将其他领域已有的归一化方法引入并评估其在GNN中的表现。实验结果表明，相较于BatchNorm和LayerNorm，使用InstanceNorm能够实现更快的收敛速度。我们通过理论分析揭示了这一现象的原因：InstanceNorm在GNN中起到了预条件化（preconditioner）的作用，而BatchNorm由于图数据集中的高批次噪声，其预条件化效果较弱。其次，我们发现InstanceNorm中的移位（shift）操作会导致在高度规则图结构上GNN的表达能力下降。为此，我们提出了一种新的归一化方法——GraphNorm，其引入了可学习的移位参数以缓解该问题。实验结果表明，采用GraphNorm的GNN模型相比使用其他归一化方法的模型具有更快的收敛速度，同时显著提升了GNN的泛化能力，在图分类基准任务上取得了更优的性能表现。