Convolutional NetworkにおけるRectified Activationsの経験的評価

本論文では、畳み込みニューラルネットワークにおける異なる種類の修正活性化関数の性能を調査する。対象となるのは、標準的な修正線形単位（ReLU）、リーク修正線形単位（Leaky ReLU）、パラメトリック修正線形単位（PReLU）および新しいランダム化されたリーク修正線形単位（RReLU）である。これらの活性化関数は標準的な画像分類タスクで評価した。実験結果から、修正活性化ユニットにおいて負の部分に非ゼロの傾斜を導入することで一貫して結果が改善することが示唆された。したがって、スパース性がReLUの高性能の鍵であるという一般的な見解に対して、当研究の結論は否定的なものである。さらに、小規模データセットでは、確定的な負の傾斜を使用するか学習することは過学習しやすいことがわかった。これらよりもランダム化された対応物を使用することが効果的である。RReLUを使用することで、CIFAR-100テストセットにおいて複数回テストやアンサンブルなしで75.68％の精度を達成した。注：「小規模データセット」は「small scale dataset」を指し、「過学習」は「overfitting」を意味します。また、「複数回テストやアンサンブルなしで」という表現は原文の「without multiple test or ensemble」に対応しています。