循环神经网络（RNNs）在许多序列到序列建模任务中取得了最先进的结果。然而，RNNs 训练难度较大，并且容易出现过拟合问题。受数据处理不等式（Data Processing Inequality, DPI）的启发，我们将多层网络表示为马尔可夫链，提出了一种包括逐步训练网络和逐层梯度裁剪在内的训练方法。我们发现，将我们的方法与之前引入的正则化和优化方法结合使用，可以改进在语言建模任务中运行的最先进架构。