2 个月前
基于Mamba的图卷积网络:通过选择性状态空间解决过度平滑问题
Xin He; Yili Wang; Wenqi Fan; Xu Shen; Xin Juan; Rui Miao; Xin Wang

摘要
图神经网络(GNNs)在各种基于图的学习任务中表现出色。然而,随着模型深度的增加,GNNs 经常面临过平滑问题,这会导致所有节点表示收敛到一个单一值,从而变得无法区分。这一问题源于 GNNs 的固有限制,即难以区分来自不同邻域的信息的重要性。在本文中,我们介绍了一种新的图卷积架构——MbaGCN,该架构借鉴了最初为序列建模设计的 Mamba 范式。MbaGCN 提出了一种新的 GNN 主干结构,包含三个关键组件:消息聚合层、选择性状态空间转换层和节点状态预测层。这些组件协同工作,自适应地聚合邻域信息,为深层 GNN 模型提供了更大的灵活性和可扩展性。尽管 MbaGCN 在每个数据集上可能并不总是优于所有现有方法,但它提供了一个基础框架,展示了将 Mamba 范式有效集成到图表示学习中的可能性。通过在基准数据集上的广泛实验,我们证明了 MbaGCN 为图神经网络研究的未来进展铺平了道路。