HyperAIHyperAI

Command Palette

Search for a command to run...

从拓扑视角度量与缓解图神经网络的过平滑问题

Deli Chen Yankai Lin Wei Li Peng Li Jie Zhou Xu Sun

摘要

图神经网络(Graph Neural Networks, GNNs)在众多基于图的任务中取得了令人瞩目的性能表现。尽管如此,GNNs 仍面临一个严重局限性——过平滑问题(即不同类别节点的表示趋于不可区分)。在本工作中,我们对 GNNs 的过平滑问题进行了系统且定量的研究。首先,我们提出了两个定量指标——MAD(Mean Absolute Deviation)与 MADGap,分别用于衡量节点表示的平滑程度和过平滑程度。随后,我们验证了平滑性是 GNN 的固有特性,而导致过平滑的关键因素在于节点接收到的消息中信息与噪声比(information-to-noise ratio)较低,这一比率在一定程度上由图的拓扑结构决定。最后,我们从图拓扑视角出发,提出了两种缓解过平滑问题的方法:(1)MADReg,通过在训练目标中引入基于 MADGap 的正则项;(2)AdaGraph,基于模型预测结果对图拓扑结构进行动态优化。在 7 个广泛使用的图数据集上,结合 10 种典型的 GNN 模型进行的大量实验表明,所提出的两种方法能够有效缓解过平滑问题,从而显著提升各类 GNN 模型的性能。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供