2ヶ月前

深層学習における区分線形活性化関数を使用する際の正規化層の重要性

Zhibin Liao; Gustavo Carneiro
深層学習における区分線形活性化関数を使用する際の正規化層の重要性
要約

ピースワイズ線形活性化関数を持つ深層フィードフォワードニューラルネットワークは、現在、いくつかの公開データセットで最先端の結果を出しています。深層学習モデルとピースワイズ線形活性化関数の組み合わせにより、類似した入力例の分類に特化した多数のサブネットワークを使用して、指数的に複雑な関数の推定が可能になります。学習過程において、これらのサブネットワークは他のサブネットワークとパラメータを共有しなければならないという事実に基づく暗黙の正則化スキームによって過学習を回避します。このフレームワークを使用して、私たちはさらなる性能向上につながる経験的な観察を行いました。これらのモデルは、データ点がピースワイズ線形活性化関数のドメインに対して初期段階でバランスよく分布していることを前提としています。この前提が満たされない場合、ピースワイズ線形活性化ユニットは純粋に線形活性化ユニットに退化し、これにより複雑な関数を学習する能力が大幅に低下する可能性があります。さらに、モデルの層数が増えれば増えるほど、この不均衡な初期分布によりモデルが悪条件になる傾向があります。そこで、私たちはピースワイズ線形活性化関数を持つ深層フィードフォワードニューラルネットワークにバッチ正規化ユニットを導入することを提案します。これはよりバランスの取れた活性化ユニットの使用を促進し、活性化関数の各領域が比較的大きな割合の訓練サンプルで訓練されるようにします。また、バッチ正規化は非常に深い学習モデルの前処理を促進します。私たちはネットワークインネットワークモデルにマックスアウトおよびバッチ正規化ユニットを導入することで、CIFAR-10, CIFAR-100, MNIST, および SVHN データセットにおいて現行の最先端またはそれ以上の分類結果を得られるモデルを開発しました。(maxout)