HyperAI超神经

BN 批量归一化 Batch Normalization

BN 是一套正则化方法,可以加速大型卷积网络的训练速度,同时提升收敛后的分类准确率。

BN 在用于神经网络某层时,会对每一个 mini-batch 数据的内部进行标准化处理,使输出规范化到 N(0,1) 的正态分布,减少了内部神经元分布的改变。传统的深度神经网络在训练时,每一层的输入分布都在变化,导致训练变得困难,但 BN 的加入可以解决这个问题。