深度残差网络中批归一化伽马值正则化的指南

在神经网络中，对权重施加L2正则化是一种广泛采用的标准训练技巧。然而，对批量归一化（batch normalization）中可学习参数gamma施加L2正则化却仍是一个未被充分探讨的谜题，不同深度学习库和实践者对此的处理方式各不相同。本文旨在探究对gamma施加L2正则化是否具有合理性。为深入分析该问题，我们提出了两种研究路径：其一，通过方差控制使残差网络（residual network）的行为趋近于恒等映射；其二，通过优化有效学习率来实现更稳定的优化过程。基于上述两种分析，我们明确了适用于L2正则化的理想gamma与不适用的不良gamma，并据此提出了四项管理原则。在多项实验中，我们观察到对四类不同gamma施加L2正则化后性能的上升与下降现象，结果与所提出的四项原则高度一致。所提出的指导原则在多种任务与网络架构中得到了验证，包括残差网络及其变体、Transformer等结构。