サンドイッチバッチ正規化：特徴分布の非均一性に対するドロップイン置換

本稿では、わずか数行のコード変更で実装可能な、バッチ正規化（Batch Normalization, BN）の著しい改善手法である「サンドイッチバッチ正規化（Sandwich Batch Normalization, SaBN）」を提案する。SaBNの提案動機は、多くのタスクにおいて顕在化する特徴分布の不均一性（heterogeneity）に着目したものである。この不均一性は、データの非均一性（複数の入力ドメイン）やモデルの非均一性（動的なアーキテクチャ、モデル条件付けなど）に起因することがある。我々のSaBNは、BNのアフィン層を、複数の並列独立アフィン層に挟まれた一つの共有サンドイッチアフィン層に分解する構造を持つ。具体的な分析により、最適化過程においてSaBNは勾配ノルムのバランスを促進しつつ、多様な勾配方向を維持するという特性を持つことが明らかになった。この性質は、多くの応用タスクにおいて望ましいとされている。我々は、条件付き画像生成、ニューラルアーキテクチャ探索（Neural Architecture Search, NAS）、敵対的訓練、任意のスタイル変換という4つのタスクにおいて、SaBNが即座に導入可能な強力な代替手法として優れた有効性を示した。具体的には、3つの最先端GANを用いたCIFAR-10およびImageNetの条件付き画像生成において、Inception ScoreとFIDが即座に向上した。また、NAS-Bench-201上で最先端の重み共有NASアルゴリズムの性能を顕著に向上させ、敵対的防御におけるロバスト性および通常精度を大幅に改善した。さらに、任意のスタイル変換においても優れた結果を達成した。本研究では、SaBNがなぜ有効であるかを理解するための可視化と分析も提供している。実装コードは以下のURLで公開されている：https://github.com/VITA-Group/Sandwich-Batch-Normalization。