2ヶ月前
3D 分子特性予測およびそれ以上のための単純な GNN 正則化
Jonathan Godwin; Michael Schaarschmidt; Alexander Gaunt; Alvaro Sanchez-Gonzalez; Yulia Rubanova; Petar Veličković; James Kirkpatrick; Peter Battaglia

要約
本論文では、単純なノイズ正則化がGNN(グラフニューラルネットワーク)の過平滑化問題を効果的に解決する方法であることを示します。まず、過平滑化に対処する正則化手法は、ノードの潜在的な類似性を罰し、意味のあるノード表現を促進すべきであると主張します。この観察に基づいて、「ノイジーノード」(Noisy Nodes)という単純な技術を開発しました。この技術では、入力グラフにノイズを加え、ノイズ補正用のノードレベル損失関数を追加します。多様なノードレベル損失関数は潜在的なノードの多様性を促進し、デノイジング目的はグラフマニフォールド学習を奨励します。当社の正則化手法は、既知の方法を単純かつ明確な形で適用しており、汎用アーキテクチャでも量子化学タスクにおいて最先端の結果を得ることができ、Open Graph Benchmark (OGB) データセットでの結果も大幅に改善しています。これらの結果から、「ノイジーノード」がGNNツールキットにおける補完的な構成要素として機能できることが示唆されています。