15 天前

通过简单的架构设计提升图神经网络性能

Sunil Kumar Maurya, Xin Liu, Tsuyoshi Murata
通过简单的架构设计提升图神经网络性能
摘要

图神经网络(Graph Neural Networks, GNNs)已成为一种在数据上进行学习的有效工具,其通过引入基于图结构的额外约束来提升模型性能。这些图结构通常基于实体之间预设的内在关系构建。近年来,图神经网络在架构设计方面取得了显著进展,推动了其在各类预测任务中的性能提升。总体而言,现有的神经网络架构通常结合了深层堆叠与节点特征聚合两个关键步骤。然而,这种设计使得分析不同传播层次(hop)上特征的重要性以及神经网络层的表达能力变得尤为困难。由于不同图数据集在特征分布和类别标签分布上表现出不同程度的同质性(homophily)与异质性(heterophily),在缺乏先验知识的情况下,理解哪些特征对预测任务具有关键作用变得至关重要。为此,本文将图神经网络中的节点特征聚合过程与网络深度进行解耦,并提出了一系列关键的设计策略。具体而言,我们提出采用Softmax作为正则化手段,构建一种针对不同邻域距离(hop)聚合特征的“软选择器”(Soft-Selector);同时引入“层级归一化”(Hop-Normalization)机制,对GNN各层进行优化。结合上述技术,我们提出了一种简洁且浅层的模型——特征选择图神经网络(Feature Selection Graph Neural Network, FSGNN)。实验结果表明,该模型在多项节点分类任务中显著优于现有的最先进GNN模型,准确率最高提升达64%。此外,通过对模型所学习到的软选择参数进行分析,可提供一种直观、简便的方法来评估各特征在预测任务中的相对重要性。最后,通过大规模实验验证,该模型在包含数百万节点和数十亿边的大型图数据上仍具备良好的可扩展性,展现出强大的实际应用潜力。