要約
バッチ正規化（Batch Normalization, BN）は、現代の深層ネットワークを学習する際の標準的な技術として広く用いられている。しかし、バッチサイズが小さくなると、バッチ統計量の推定が不正確になるため、その有効性が低下する。この問題は、1）メモリ制約により小さなバッチサイズを必要とする大規模モデルの学習、および2）メモリリソースが限られたモバイルや組み込みデバイスでの学習において、バッチ正規化の利用を制限する要因となっている。本論文では、シンプルでありながら効果的な手法として、拡張バッチ正規化（Extended Batch Normalization, EBN）を提案する。NCHW形式の特徴マップに対して、EBNはバッチ正規化と同様に（N, H, W）次元に沿って平均を計算することで、バッチ正規化の利点を維持する。一方、小さなバッチサイズによる問題を緩和するため、標準偏差の計算においては（N, C, H, W）次元に沿って行うことで、標準偏差の推定に用いるサンプル数を増加させる。MNIST、CIFAR-10/100、STL-10、ImageNetの各データセットにおいて、拡張バッチ正規化をバッチ正規化およびグループ正規化（Group Normalization）と比較した実験の結果、EBNは小さなバッチサイズ下でのバッチ正規化の問題を顕著に軽減しつつ、大きなバッチサイズでのバッチ正規化と同等の性能を達成することが示された。