自己教師あり学習および半教師あり学習のための指数移動平均正規化

バッチ正規化（BN）のプラグイン型代替手法として、指数移動平均正規化（EMAN）を提案する。本手法は、従来の生徒-教師型自己教師ありおよび半教師あり学習手法の性能を向上させる。標準的なBNでは各バッチ内で統計量を計算するのに対し、EMANは教師側で生徒側のBN統計量をもとに指数移動平均により統計量を更新する。この設計により、BNに内在するサンプル間依存性を低減し、教師モデルの汎化性能を向上させる。ImageNetにおいて1%または10%のラベル付きデータを用いた場合、自己教師あり学習においてベースラインを4～6ポイント、半教師あり学習において約7ポイント向上させる。これらの向上効果は、手法やネットワークアーキテクチャ、学習期間、データセットの種類にかかわらず一貫して確認され、本手法の汎用的な有効性を示している。コードは以下のURLで公開されている：https://github.com/amazon-research/exponential-moving-average-normalization。