2 个月前

用于3D分子性质预测及更广泛领域的简单GNN正则化方法

Jonathan Godwin; Michael Schaarschmidt; Alexander Gaunt; Alvaro Sanchez-Gonzalez; Yulia Rubanova; Petar Veličković; James Kirkpatrick; Peter Battaglia
用于3D分子性质预测及更广泛领域的简单GNN正则化方法
摘要

在本文中,我们展示了简单的噪声正则化可以成为解决图神经网络(GNN)过平滑问题的有效方法。首先,我们认为针对过平滑的正则化方法应该既惩罚节点潜在表示的相似性,又鼓励有意义的节点表示。基于这一观察,我们提出了“噪声节点”(Noisy Nodes),这是一种简单的方法,通过在输入图中引入噪声,并添加一个节点级别的噪声校正损失来实现。多样化的节点级损失促进了节点潜在表示的多样性,而降噪目标则促进了图流形学习。我们的正则化方法以简单直接的方式应用了经过充分研究的技术,使得即使是通用架构也能克服过平滑问题,并在量子化学任务上取得最先进的结果,在Open Graph Benchmark(OGB)数据集上的表现也显著提升。我们的结果表明,“噪声节点”可以作为图神经网络工具箱中的一个补充组件。

用于3D分子性质预测及更广泛领域的简单GNN正则化方法 | 最新论文 | HyperAI超神经