要約
本論文では、モデルの識別能力を向上させ、受容野内の情報抽象化を容易にする新しい深層アーキテクチャであるMaxout Network In Network (MIN)について報告する。提案されたネットワークは、最近開発されたNetwork In Network構造のフレームワークを採用しており、この構造は多層パーセプトロン（MLP）とリクテイファユニットを使用して特徴量を抽出する普遍的な近似器として機能する。本研究では、通常のMLPではなく、maxout MLPを使用することで、多様な区分線形活性化関数を学習し、リクテイファユニットを使用した際に発生しうる勾配消失問題を緩和する。さらに、バッチ正規化を適用してモデルの前処理を行い、maxoutユニットの飽和を軽減するとともに、ドロップアウトを用いて過学習を防止する。最後に、全てのプーリング層で平均プーリングを使用し、maxout MLPの正則化を行うことで、受容野内の情報抽象化を促進しながら物体位置の変動に対する耐性を持つようにしている。平均プーリングは局所領域内のすべての特徴量を保つため、提案されたMINモデルは訓練中に無関係な情報の抑制を強制できる。実験結果から、MINモデルがMNIST, CIFAR-10, CIFAR-100データセットに対して最先端の分類性能を示し、SVHNデータセットでも同等の性能が得られたことが確認された。