非常に深い畳み込みニューラルネットワークは、勾配消失（vanishing gradient）や劣化（degradation）などの新たな問題を引き起こしました。これらの問題の解決に向けた最近の成功例として、残差ネットワーク（Residual Networks）とハイウェイネットワーク（Highway Networks）があります。これらのネットワークはスキップ接続（skip connections）を導入しており、入力情報や初期層で学習された情報をより深い層へと効率的に伝達させることが可能です。非常に深いモデルは、ImageNetやCOCOなどのベンチマークにおいてテスト誤差を大幅に減少させました。本論文では、残差ネットワークにおけるReLUとバッチ正規化（Batch Normalization）の組み合わせに代わり、指数線形単位（Exponential Linear Unit: ELU）の使用を提案します。この手法は、学習速度を向上させるとともに、深さが増すにつれて精度も向上させることが示されています。CIFAR-10やCIFAR-100などほとんどのデータセットにおいてテスト誤差の改善が確認されました。