正确的归一化至关重要：理解归一化对深度神经网络模型在点击率预测中影响的研究

归一化已成为众多深度神经网络在机器学习任务中不可或缺的核心组件，而深度神经网络也已在点击率（CTR）预估领域得到广泛应用。在已提出的多数深度神经网络模型中，极少有模型采用归一化方法。尽管部分工作（如 Deep & Cross Network, DCN 与 Neural Factorization Machine, NFM）在模型的多层感知机（MLP）部分引入了批归一化（Batch Normalization），但尚无研究系统地探讨归一化对深度神经网络排序系统的影响。本文针对广泛使用的多种归一化方法，开展了一项系统性研究，将不同归一化策略应用于深度神经网络模型中的特征嵌入（feature embedding）与 MLP 部分。我们在三个真实世界数据集上进行了大量实验，结果表明，恰当的归一化能够显著提升模型性能。此外，本文基于上述发现提出了一种新型且高效的归一化方法——仅基于方差的层归一化（Variance Only LayerNorm, VO-LN），该方法在保留层归一化（LayerNorm）结构优势的同时，简化了归一化过程。基于此，我们进一步提出一种增强型归一化深度神经网络模型，命名为 NormDNN。针对归一化为何在 CTR 预估任务中对深度神经网络有效的问题，本文发现：归一化效果的关键在于其对特征分布方差的调控作用，并对此现象给出了理论解释。