循环神经网络（RNNs）是处理序列数据的强大模型。端到端训练方法，如连接时序分类（Connectionist Temporal Classification），使得在输入输出对齐未知的情况下训练RNN用于序列标注问题成为可能。这些方法与长短期记忆（Long Short-term Memory, LSTM）RNN架构的结合已被证明特别有效，在连笔手写识别方面取得了最先进的结果。然而，RNN在语音识别领域的表现至今令人失望，深度前馈网络则取得了更好的结果。本文研究了深层循环神经网络，该网络将已在深度网络中证明有效的多层表示与赋予RNN灵活利用长距离上下文的能力相结合。当采用适当的正则化进行端到端训练时，我们发现深层LSTM RNN在TIMIT音素识别基准测试集上的错误率为17.7%，据我们所知，这是迄今为止记录的最佳成绩。