15 天前

GRAND+:可扩展的图随机神经网络

Wenzheng Feng, Yuxiao Dong, Tinglin Huang, Ziqi Yin, Xu Cheng, Evgeny Kharlamov, Jie Tang
GRAND+:可扩展的图随机神经网络
摘要

图神经网络(GNNs)已被广泛应用于图上的半监督学习任务。近期研究表明,图随机神经网络(Graph Random Neural Network, GRAND)模型在该问题上能够实现当前最优的性能表现。然而,由于其有效性依赖于计算开销较大的数据增强过程,GRAND在处理大规模图数据时面临显著挑战。针对这一问题,本文提出了一种可扩展且高性能的GNN框架——GRAND+,用于半监督图学习。为解决上述瓶颈,我们在GRAND+中设计了一种广义前向传播算法(Generalized Forward Push, GFPush),用于预先计算一个通用的传播矩阵,并基于该矩阵以小批量(mini-batch)方式高效执行图数据增强。实验表明,GFPush具有较低的时间与空间复杂度,使GRAND+能够高效扩展至大规模图数据。此外,我们在GRAND+的模型优化过程中引入了一种置信度感知的一致性损失(confidence-aware consistency loss),进一步提升了模型的泛化能力。我们在七个不同规模的公开数据集上进行了广泛的实验。结果表明:1)GRAND+具备良好的可扩展性,能够有效处理大规模图数据,且运行时间显著低于现有可扩展GNN方法;2)在所有数据集上,GRAND+均在全批量(full-batch)与可扩展GNN方法的基础上实现了稳定且一致的精度提升,展现出卓越的性能优势。

GRAND+:可扩展的图随机神经网络 | 最新论文 | HyperAI超神经