要約
畳み込みニューラルネットワークは、最近のいくつかの進歩により、物体認識において優れた性能を発揮しています。これらの進歩には、修正線形単位（ReLU）、データ拡張、ドロップアウト、および大規模なラベル付きデータセットが含まれます。非教師ありデータが性能向上の別の方法として提案されていますが、残念ながら最先端の手法では非教師あり事前学習が用いられていません。これにより次の疑問が生じます：最近の進歩を考えた場合、非教師あり事前学習はまだ有用でしょうか？もし有用であるなら、どのような状況で有用なのでしょうか？この問いに対する回答は以下の3つの部分から構成されます：1）ReLUと最近の非教師あり正則化技術を組み込んだ非教師あり手法を開発します。2）CIFAR-10において、非教師あり事前学習とデータ拡張およびドロップアウトを比較し、非教師ありサンプルと教師ありサンプルの比率を変動させることでその利点を分析します。3）STL-10で得られた結果を検証します。我々は予想通りに、非教師ありサンプルと教師ありサンプルの比率が高い場合に非教師あり事前学習が役立つことを発見しました。また意外にも、その比率が低い場合には性能に悪影響を与えることがわかりました。さらに、追加的な色拡張を使用した非教師あり事前学習によってSTL-10での近似最先端の性能を達成しました。