バッチ正規化におけるガンマの正則化に関するガイドライン：深層残差ネットワーク向け

ニューラルネットワークにおける重みに対するL2正則化は、標準的な学習テクニックとして広く用いられている。しかし、バッチ正規化の学習可能なパラメータであるgammaに対するL2正則化については、依然として議論が不足しており、ライブラリや実践者によって異なる方法で適用されている。本論文では、gammaに対するL2正則化が有効かどうかを検討する。この問題を明らかにするために、2つのアプローチを検討する：1）分散制御による残差ネットワークの恒等写像に近い挙動の実現、および2）有効学習率の改善による安定した最適化の実現。2つの分析を通じて、L2正則化を適用すべき望ましいgammaと望ましくないgammaを明確にし、それらを管理するための4つのガイドラインを提案する。いくつかの実験において、4種類のgammaにL2正則化を適用した場合の性能の向上および低下を観察した結果、これらの結果は本研究で提案する4つのガイドラインと整合的であった。提案したガイドラインは、残差ネットワークやトランスフォーマーのバリエーションを含む多様なタスクおよびアーキテクチャにおいて検証され、有効性が確認された。