数百層乃至数千層のレジデュアルネットワーク（残差ネットワーク）ファミリーが主要な画像認識タスクを主導していますが、単純にレジデュアルブロックを積み重ねてネットワークを構築することは、その最適化能力を制限する可能性があります。本論文では、新しいレジデュアルネットワークアーキテクチャである「Residual networks of Residual networks (RoR)」を提案し、レジデュアルネットワークの最適化能力を引き出すことを目指します。RoRは、元のレジデュアルマッピングの最適化ではなく、レジデュアルマッピングのレジデュアルマッピングの最適化を行います。特に、RoRは元のレジデュアルネットワークにレベルごとのショートカット接続を追加することで、レジデュアルネットワークの学習能力を向上させます。さらに重要な点として、RoRは様々な種類のレジデュアルネットワーク（ResNets, Pre-ResNets, WRN）に適用でき、それらの性能を大幅に向上させることが示されています。我々の実験結果は、RoRの有効性と汎用性を証明しており、すべてのレジデュアルネットワーク類似構造において最高の性能を達成しています。我々が開発したRoR-3-WRN58-4+SDモデルは、CIFAR-10, CIFAR-100, SVHNデータセットで新たな最先端結果を達成し、それぞれ3.77%, 19.73%, 1.59% のテスト誤差率を記録しました。また、RoR-3モデルはImageNetデータセットにおいてもResNetsと比較して最先端の結果を得ています。