用于深度卷积神经网络的有效学习的接力反向传播算法

近年来，学习更深的卷积神经网络成为一种趋势。然而，许多实证研究表明，仅仅通过增加更多层并不能获得性能提升。在本文中，我们从信息理论的角度考虑这一问题，并提出了一种新的方法——接力反向传播（Relay Backpropagation），该方法鼓励在网络训练阶段有效信息的传播。借助该方法，我们在2015年ILSVRC场景分类挑战赛中获得了第一名。我们在两个具有挑战性的大规模数据集上进行了广泛的实验，结果表明我们的方法不仅限于特定的数据集或网络架构。我们的模型将在稍后提供给研究社区。