15 天前
图上深度多速率学习的梯度门控
T. Konstantin Rusch, Benjamin P. Chamberlain, Michael W. Mahoney, Michael M. Bronstein, Siddhartha Mishra

摘要
我们提出了一种名为梯度门控(Gradient Gating,简称 G$^2$)的新框架,用于提升图神经网络(Graph Neural Networks, GNNs)的性能。该框架通过引入一种多速率消息传递信息流机制,对GNN层的输出进行门控,从而实现对节点间信息传递过程的精细调控。同时,利用局部梯度进一步调制消息传递的更新过程。G$^2$框架具有高度灵活性,可将任意基础GNN层作为核心组件,并在其外围构建多速率梯度门控机制。我们严格证明了G$^2$能够缓解过度平滑(oversmoothing)问题,从而支持深度GNN的构造与训练。实验结果表明,该框架在多种图学习任务上均取得了当前最优的性能表现,尤其在大规模异质性图(heterophilic graphs)上展现出显著优势。