双向长短期记忆 Bi-directional Long-Short Term Memory/Bi-LSTM

定义

深度神经网络在语音识别，图像处理和自然语言处理等众多方向上体现了优越的效果，LSTM 作为 RNN 的一种变体，相比较于 RNN 可以学习到数据中长期依赖关系。

2005 年，Graves 提出了将 LSTM 与 BRNN 结合到一起，成为 BLSTM，相较于 BRNN，BLSTM 可以更好的处理梯度消失和爆炸的问题，2013 年，Graves 提出了深层的 BLSTM，可以更好的对特征进行提取和表示，效果相比较于 BLSTM 也更加优越。

发展分析

瓶颈

不同于 CNN，LSTM 等时序相关的网络很难并行化处理，因而很难使用 GPU 进行加速。此外，RNN 和 LSTM 与其循环识别和嵌入式记忆结点的使用将越来越少，与基于 CNN 的解决方案相比，不再具有竞争力，因为并行架构的性能是胜过顺序架构的。

未来发展方向

BLSTM 的发展方向众多：

• LSTM 及其变体 BLSTM 等输入和输出门将可能会被辅助可微记忆取代；

• 更复杂的神经网络，比如各种神经网络的组合（BLSTM+CNN）。