近年、より深い畳み込みニューラルネットワーク（CNN）の学習が傾向となっています。しかし、多くの経験的な証拠は、単に層を積み重ねるだけでは性能向上が得られないことを示唆しています。本論文では、この問題を情報理論的な観点から検討し、訓練段階で効果的な情報の伝播を促進する新しい手法であるリレーバックプロパゲーション（Relay Backpropagation）を提案します。この手法により、ILSVRC 2015 シーン分類チャレンジで第1位を獲得しました。2つの挑戦的な大規模データセットにおける広範な実験結果は、当手法の有効性が特定のデータセットやネットワークアーキテクチャに限定されないことを示しています。当モデルは後日研究コミュニティに公開される予定です。