L'apprentissage de réseaux neuronaux convolutifs plus profonds est devenu une tendance ces dernières années. Cependant, de nombreuses preuves empiriques suggèrent qu'une simple accumulation de couches supplémentaires ne permet pas d'améliorer les performances. Dans cet article, nous abordons cette question sous l'angle de la théorie de l'information et proposons une nouvelle méthode appelée Retropropagation Relais (Relay Backpropagation), qui favorise la propagation d'informations efficaces au sein du réseau lors de la phase d'entraînement. Grâce à cette méthode, nous avons remporté le premier prix du Défi de Classification des Scènes de l'ILSVRC 2015. Des expérimentations approfondies sur deux ensembles de données à grande échelle et difficiles montrent que l'efficacité de notre méthode n'est pas limitée à un ensemble de données ou à une architecture de réseau spécifique. Nos modèles seront mis à disposition de la communauté scientifique ultérieurement.