Command Palette
Search for a command to run...
深層ニューラルネットワークの改善に確率的マックスアウトユニットを用いる
深層ニューラルネットワークの改善に確率的マックスアウトユニットを用いる
Jost Tobias Springenberg Martin Riedmiller
概要
最近導入されたマックスアウトユニットの確率的な変種を提案します。ドロップアウト条件下での性能がReLU(Rectified Linear Unit)よりも優れていることが、マックスアウトを利用した深層ニューラルネットワークの成功の一因となっています。しかし、その成功はまた、各マックスアウトユニットが線形変換のグループ上でプーリング操作を行うことにより、入力の変化に対して部分的に不変であるという事実にも依存しています。この観察から、私たちは次のような問いを投げかけます:マックスアウトユニットの望ましい特性を保ちつつ、その不変性を向上させることは可能でしょうか?私たちは、確率的マックスアウト(Probabilistic Maxout, Probout)ユニットがこのバランスを達成することに成功すると主張します。この主張を定量的に検証し、3つの難易度の高い画像分類ベンチマーク(CIFAR-10, CIFAR-100, およびSVHN)で現行の最先端と同等かそれ以上の分類性能を報告します。