Das Lernen tiefer konvolutiver Neuronaler Netze (CNNs) ist in den letzten Jahren zu einer Tendenz geworden. Allerdings deuten viele empirische Beweise darauf hin, dass eine einfache Vergrößerung der Anzahl von Schichten nicht unbedingt zu einer Leistungssteigerung führt. In dieser Arbeit betrachten wir das Problem aus informations-theoretischer Perspektive und schlagen eine neuartige Methode namens Relay Backpropagation vor, die die Ausbreitung effektiver Informationen durch das Netzwerk während des Trainings fördert. Dank dieser Methode erreichten wir den ersten Platz im ILSVRC 2015 Scene Classification Challenge. Umfangreiche Experimente mit zwei anspruchsvollen großen Datensätzen zeigen, dass die Effektivität unserer Methode nicht auf einen bestimmten Datensatz oder Netzwerkarchitektur beschränkt ist. Unsere Modelle werden der Forschungsgemeinschaft später zur Verfügung gestellt.