Une famille de réseaux résiduels avec des centaines, voire des milliers de couches, domine les principales tâches de reconnaissance d'images, mais construire un réseau en empilant simplement des blocs résiduels limite inévitablement sa capacité d'optimisation. Cet article propose une nouvelle architecture de réseau résiduel, appelée Réseaux résiduels de réseaux résiduels (RoR), pour exploiter la capacité d'optimisation des réseaux résiduels. Le RoR substitue l'optimisation de la carte résiduelle de la carte résiduelle à l'optimisation de la carte résiduelle originale. Plus précisément, le RoR ajoute des connexions raccourcies par niveau aux réseaux résiduels originaux afin d'améliorer leur capacité d'apprentissage. De manière plus importante encore, le RoR peut être appliqué à divers types de réseaux résiduels (ResNets, Pre-ResNets et WRN) et améliore considérablement leurs performances. Nos expériences démontrent l'efficacité et la polyvalence du RoR, où il atteint les meilleures performances dans toutes les structures similaires aux réseaux résiduels. Nos modèles RoR-3-WRN58-4+SD obtiennent de nouveaux résultats d'état de l'art sur CIFAR-10, CIFAR-100 et SVHN, avec des erreurs de test respectivement de 3,77 %, 19,73 % et 1,59 %. Les modèles RoR-3 atteignent également des résultats d'état de l'art comparés aux ResNets sur le jeu de données ImageNet.