摘要
我们提出了一种名为夹心批归一化（Sandwich Batch Normalization, SaBN）的批归一化（Batch Normalization, BN）改进方法，仅需少量代码修改即可实现，简单易用。SaBN的设计动机在于解决许多任务中普遍存在的特征分布异质性问题，这种异质性可能源于数据异质性（如多个输入域）或模型异质性（如动态架构、模型条件化等）。SaBN将传统的BN仿射变换层分解为一个共享的“夹心式”仿射层，其后串联多个并行独立的仿射层。具体分析表明，在优化过程中，SaBN能够促进梯度范数的均衡，同时仍保留多样化的梯度方向——这一特性被多种应用任务所青睐。我们在四项任务中验证了SaBN作为即插即用替换方案的卓越性能：条件图像生成、神经架构搜索（Neural Architecture Search, NAS）、对抗训练以及任意风格迁移。实验结果表明：- 在CIFAR-10和ImageNet的条件图像生成任务中，结合三种前沿GAN模型，SaBN可立即提升Inception Score与FID指标；- 在NAS-Bench-201数据集上，显著增强了一种先进权重共享NAS算法的性能；- 显著提升对抗防御任务中的鲁棒性与标准准确率；- 在任意风格迁移任务中，生成效果优于现有方法。此外，我们提供了可视化分析，深入揭示SaBN有效性的内在机制。相关代码已开源，地址为：https://github.com/VITA-Group/Sandwich-Batch-Normalization。