正規化の正しさが重要である：クリック率予測における深層ニューラルネットワークモデルへの正規化の影響を理解する

正規化は、機械学習タスクにおける多くの深層ニューラルネットワーク（DNN）の基本構成要素の一つとなりつつある一方で、深層ニューラルネットワークはCTR（クリック率）推定分野でも広く利用されている。多数の提案された深層ニューラルネットワークモデルにおいては、正規化手法を採用しているものは少ない。一部の研究、例えばDeep & Cross Network（DCN）やNeural Factorization Machine（NFM）ではMLP部分にバッチ正規化（Batch Normalization）を適用しているが、正規化がDNNランク付けシステムに与える影響について包括的に検討した研究は存在しない。本論文では、DNNモデルにおける特徴埋め込み部およびMLP部の両方にさまざまな正規化手法を適用し、広く用いられている正規化スキーマの効果について体系的な研究を実施する。3つの実世界データセットを用いた大規模な実験の結果、適切な正規化がモデル性能を顕著に向上させることを示した。さらに、本研究ではレイヤー正規化（LayerNorm）をベースにした新たな効果的な正規化手法、すなわち「分散のみのレイヤー正規化（Variance Only LayerNorm: VO-LN）」を提案する。上記の観察に基づき、正規化を強化したDNNモデル「NormDNN」も提案している。CTR推定におけるDNNモデルにおける正規化の有効性の理由について、本研究では正規化の分散（variance）が主要な役割を果たしていることを明らかにし、その理由について説明を提示している。