Inception-v4、Inception-ResNet および残差接続が学習に与える影響

近年の画像認識性能の最大の進歩において、非常に深い畳み込みニューラルネットワークが中心的な役割を果たしてきました。その一例として、比較的低い計算コストで非常に優れた性能を達成することが示されているInceptionアーキテクチャがあります。最近では、伝統的なアーキテクチャと併せて残差接続（residual connections）を導入することで、2015年のILSVRCチャレンジで最先端の性能を達成しました。その性能は最新世代のInception-v3ネットワークに匹敵していました。これにより、Inceptionアーキテクチャと残差接続を組み合わせることによる利点があるかどうかという疑問が生じます。本研究では、残差接続を使用した学習がInceptionネットワークの学習を大幅に加速することを明確な経験的証拠で示します。また、残差接続を持つInceptionネットワークが同程度の計算コストを持つ非残差接続のInceptionネットワークよりもわずかに優れているという証拠も見られます。さらに、残差および非残差Inceptionネットワーク向けにいくつかの新しい効率的なアーキテクチャを提案します。これらの変種は、ILSVRC 2012分類タスクにおける単一フレーム認識性能を大幅に向上させています。私たちはまた、適切な活性化スケーリングが非常に広い残差Inceptionネットワークの学習を安定させる方法を示します。3つの残差ネットワークと1つのInception-v4ネットワークから構成されるアンサンブルにより、ImageNet分類（CLS）チャレンジのテストセットにおいてトップ5エラー率3.08％を達成しました。