GraphNorm：グラフニューラルネットワークの学習を加速する原理的なアプローチ

正規化は深層ニューラルネットワークの最適化を支援することが知られている。興味深いことに、異なるアーキテクチャにはそれぞれ特化した正規化手法が必要となる。本論文では、グラフニューラルネットワーク（GNN）においてどの正規化手法が有効であるかを検討する。まず、他の分野で既存の正規化手法をGNNに適応し、評価を行った。その結果、バッチ正規化（BatchNorm）やレイヤー正規化（LayerNorm）と比較して、インスタンス正規化（InstanceNorm）を用いることでより高速な収束が達成された。この現象の理由として、InstanceNormがGNNに対して前処理（preconditioner）の役割を果たしていることを示したが、グラフデータセットには大きなバッチノイズが存在するため、BatchNormではこの前処理効果が弱まることを明らかにした。第二に、InstanceNormにおけるシフト操作が、非常に規則的なグラフにおいてGNNの表現力の低下を引き起こすことを示した。この問題に対処するため、学習可能なシフトパラメータを導入した新しい手法であるGraphNormを提案した。実験的にも、他の正規化手法を用いたGNNと比較して、GraphNormを用いたGNNはより高速に収束することが確認された。さらに、GraphNormはGNNの汎化性能を向上させ、グラフ分類のベンチマークにおいて優れた性能を達成した。