自监督与半监督学习中的指数移动平均归一化

我们提出了一种可直接替换批量归一化（Batch Normalization, BN）的新型方法——指数移动平均归一化（Exponential Moving Average Normalization, EMAN），该方法能够提升基于学生-教师架构的自监督与半监督学习技术的性能。与标准BN在每个批次内计算统计量不同，EMAN在教师模型中通过学生模型BN统计量的指数移动平均来更新自身统计量。这一设计有效降低了BN固有的跨样本依赖性，从而增强了教师模型的泛化能力。在ImageNet数据集上，当仅使用1%或10%的标注样本时，EMAN使自监督学习的强基线性能提升4–6个点，半监督学习性能提升约7个点（1%标注率）和2个点（10%标注率）。这些改进在不同方法、网络架构、训练时长及数据集上均具有一致性，充分证明了该技术的普适有效性。相关代码已开源，地址为：https://github.com/amazon-research/exponential-moving-average-normalization。