长短期记忆 Long Short-Term Memory
长短期记忆（英语：Long Short-Term Memory，LSTM）是一种时间递归神经网络（RNN），论文首次发表于 1997 年。由于独特的设计结构，LSTM 适合于处理和预测时间序列中间隔和延迟非常长的重要事件。
LSTM 的表现通常比时间递归神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。 2009 年，用 LSTM 构建的人工神经网络模型赢得过 ICDAR 手写识别比赛冠军。 LSTM 还普遍用于自主语音识别，2013 年运用 TIMIT 自然演讲数据库达成 17.7% 错误率的纪录。作为非线性模型，LSTM 可作为复杂的非线性单元用于构造更大型深度神经网络。
长短期记忆（英语：Long Short-Term Memory，LSTM）是一种时间递归神经网络（RNN），论文首次发表于 1997 年。由于独特的设计结构，LSTM 适合于处理和预测时间序列中间隔和延迟非常长的重要事件。
LSTM 的表现通常比时间递归神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。 2009 年，用 LSTM 构建的人工神经网络模型赢得过 ICDAR 手写识别比赛冠军。 LSTM 还普遍用于自主语音识别，2013 年运用 TIMIT 自然演讲数据库达成 17.7% 错误率的纪录。作为非线性模型，LSTM 可作为复杂的非线性单元用于构造更大型深度神经网络。
理解 LSTM 网络
递归神经网络
人类并不是时刻都从头开始思考。如果你阅读这篇文章，你是在之前词汇的基础上理解每一个词汇，你不需要丢掉一切从头开始思考。你的思想具有延续性。
传统的神经网络无法做到这样，并且这成为了一个主要的缺陷。例如，想像一下你需要对一部电影中正在发生的事件做出判断。目前还不清楚传统的神经网络如何根据先前发生的事件来推测之后发生的事件。
递归神经网络正好用来解决这个问题。递归神经网络的内部存在着循环，用来保持信息的延续性。
上图中有局部神经网络——????A，输入值 ????????xt，和输出值 ℎ????ht 。一个循环保证信息一步一步在网络中传递。
这些循环让递归神经网络难以理解。但是，如果仔细想想就会发现，它们和普通的神经网络没什么区别。一个递归神经网络可以看作是一组相同的网络，每一个网络都将信息传递给下一个。如果展开循环就会看到：
这个链式结构自然地揭示出递归神经网络和序列与列表紧密相关。这是用于处理序列数据的神经网络的自然架构。
当然，也是可用的。最近几年，RNN 在语音识别、语言建模、翻译、图像描述等等领域取得了难以置信的成功。我把对 RNN 所取得成果的讨论留在 Andrej Karpathy 的博客里。 RNN 真的很神奇！
这些成功的关键是 “LSTM” ——一种特殊的递归神经网络，在许多问题上比标准版本的 RNN 好得多。几乎所有递归神经网络取得的出色成果均源于 LSTM 的使用。这篇文章要介绍的正是 LSTM 。
长期依赖性问题
RNN 的吸引力之一是它们能够将先前的信息与当前的问题连接，例如使用先前的视频画面可以启发对当前画面的理解。如果 RNN 可以做到这一点，它们会非常有用。但它可以吗？嗯，这是有条件的。
有时候，我们只需要查看最近的信息来应对当前的问题。例如，一个语言模型试图根据先前的词汇预测下一个词汇。如果我们试图预测 “the clouds are in the sky” 中的最后一个词，我们不需要任何进一步的上下文背景，很明显，下一个词将是 sky 。在这种情况下，相关信息与它所在位置之间的距离很小，RNN 可以学习使用过去的信息。
但也有些情况下我们需要更多的上下文。考虑尝试预测 “I grew up in France… I speak fluent French.” 中的最后一个词。最近的信息表明，下一个单词可能是一种语言的名称，但如果我们想要具体到哪种语言，我们需要从更远的地方获得上下文——France 。因此，相关信息与它所在位置之间的距离非常大是完全可能的。
遗憾的是，随着距离的增大，RNN 开始无法将信息连接起来。
理论上，RNN 绝对有能力处理这种 “长期依赖性” 。人类可通过仔细挑选参数来解决这种形式的 “玩具问题” 。遗憾的是在实践中，RNN 似乎无法学习它们。这个问题是由 Hochreiter 和 Bengio 等人深入探讨。他发现了问题变困难的根本原因。
谢天谢地，LSTM 没这种问题！
LSTM 网络
长短期记忆网络——通常被称为 LSTM，是一种特殊的 RNN，能够学习长期依赖性。由 Hochreiter 和 Schmidhuber（1997）提出的，并且在接下来的工作中被许多人改进和推广。 LSTM 在各种各样的问题上表现非常出色，现在被广泛使用。
LSTM 被明确设计用来避免长期依赖性问题。长时间记住信息实际上是 LSTM 的默认行为，而不是需要努力学习的东西！
所有递归神经网络都具有神经网络的链式重复模块。在标准的 RNN 中，这个重复模块具有非常简单的结构，例如只有单个 tanh 层。
LSTM 也具有这种类似的链式结构，但重复模块具有不同的结构。不是一个单独的神经网络层，而是四个，并且以非常特殊的方式进行交互。
不要担心细节。稍后我们将逐步浏览 LSTM 的图解。现在，让我们试着去熟悉我们将使用的符号。
在上面的图中，每行包含一个完整的向量，从一个节点的输出到其他节点的输入。粉色圆圈表示逐点运算，如向量加法；而黄色框表示学习的神经网络层。行合并表示串联，而分支表示其内容正在被复制，并且副本将转到不同的位置。
LSTM 的核心想法
LSTM 的关键是细胞状态，即图中上方的水平线。
细胞状态有点像传送带。它贯穿整个链条，只有一些次要的线性交互作用。信息很容易以不变的方式流过。
LSTM 可以通过所谓 “门” 的精细结构向细胞状态添加或移除信息。
门可以选择性地以让信息通过。它们由 S 形神经网络层和逐点乘法运算组成。
S 形网络的输出值介于 0 和 1 之间，表示有多大比例的信息通过。 0 值表示 “没有信息通过”，1 值表示 “所有信息通过” 。
一个 LSTM 有三种这样的门用来保持和控制细胞状态。
逐步解析 LSTM 的流程
LSTM 的第一步要决定从细胞状态中舍弃哪些信息。这一决定由所谓 “遗忘门层” 的 S 形网络层做出。它接收 ℎ????−1ht−1 和 ????????xt，并且对细胞状态 ????????−1Ct−1 中的每一个数来说输出值都介于 0 和 1 之间。 1 表示 “完全接受这个”，0 表示 “完全忽略这个” 。
让我们回到语言模型的例子，试图用先前的词汇预测下一个。在这个问题中，细胞状态可能包括当前主语的词性，因此可以使用正确的代词。当我们看到一个新的主语时，我们需要忘记先前主语的词性。
下一步就是要确定需要在细胞状态中保存哪些新信息。这里分成两部分。第一部分，一个所谓 “输入门层” 的 S 形网络层确定哪些信息需要更新。第二部分，一个 tanh 形网络层创建一个新的备选值向量—— ????̃ ????C~t，可以用来添加到细胞状态。在下一步中我们将上面的两部分结合起来，产生对状态的更新。
在我们的语言模型中，我们要把新主语的词性加入状态，取代需要遗忘的旧主语。
现在更新旧的细胞状态 ????????−1Ct−1 更新到 ????????Ct 。先前的步骤已经决定要做什么，我们只需要照做就好。
我们对旧的状态乘以 ????????ft，用来忘记我们决定忘记的事。然后我们加上 ????????∗????̃ ????it∗C~t，这是新的候选值，根据我们对每个状态决定的更新值按比例进行缩放。
语言模型的例子中，就是在这里我们根据先前的步骤舍弃旧主语的词性，添加新主语的词性。
最后，我们需要确定输出值。输出依赖于我们的细胞状态，但会是一个 “过滤的” 版本。首先我们运行 S 形网络层，用来确定细胞状态中的哪些部分可以输出。然后，我们把细胞状态输入 tanhtanh（把数值调整到 −1−1 和 11 之间）再和 S 形网络层的输出值相乘，这样我们就可以输出想要输出的部分。
以语言模型为例子，一旦出现一个主语，主语的信息会影响到随后出现的动词。例如，知道主语是单数还是复数，就可以知道随后动词的形式。
长短期记忆的变种
目前我所描述的还只是一个相当一般化的 LSTM 网络。但并非所有 LSTM 网络都和之前描述的一样。事实上，几乎所有文章都会改进 LSTM 网络得到一个特定版本。差别是次要的，但有必要认识一下这些变种。
一个流行的 LSTM 变种由 Gers 和 Schmidhuber 提出，在 LSTM 的基础上添加了一个 “窥视孔连接”，这意味着我们可以让门网络层输入细胞状态。
上图中我们为所有门添加窥视孔，但许多论文只为部分门添加。
另一个变种把遗忘和输入门结合起来。同时确定要遗忘的信息和要添加的新信息，而不再是分开确定。当输入的时候才会遗忘，当遗忘旧信息的时候才会输入新数据。
一个更有意思的 LSTM 变种称为 Gated Recurrent Unit（GRU），由 Cho 等人提出。 GRU 把遗忘门和输入门合并成为一个 “更新门”，把细胞状态和隐含状态合并，还有其他变化。这样做使得 GRU 比标准的 LSTM 模型更简单，因此正在变得流行起来。
这些只是若干知名 LSTM 变种中的一小部分。还有其他变种，例如 Yao 等人提出的 Depth Gated RNN 。也有一些完全不同的方法处理长期依赖性，例如 Koutnik 等人提出的 Clockwork RNN 。
这些变种哪一个是最好的？它们之间的区别重要吗？Greff 等人做了研究，细致的比较流行的变种，结果发现它们几乎都一样。 Jozefowicz 等人测试了一万余种 RNN 架构，发现在特定问题上有些架构的表现好于 LSTM 。
结论
早先，我注意到有些人使用 RNN 取得了显著的成果，这些几乎都是通过 LSTM 网络做到的。对于绝大部分问题，LSTM 真的更好用！
罗列一大堆公式之后，LSTM 看起来令人生畏。还好，文章中逐步的解析让它们更容易接受。
LSTM 是 RNN 取得的一大进步。很自然地要问：还有其他的进步空间吗？研究人员的普遍答案是：Yes！还有进步的空间，那就是注意力（attention）！注意力的想法是让 RNN 中的每一步都从信息更加富集的地方提取信息。例如，你想使用 RNN 对一幅图片生成描述，它也需要提取图片中的一部分来生成输出的文字。事实上，Xu 等人就是这么做的，如果你想探索注意力，这会是一个相当不错的起始点。还有许多出色的成果使用了注意力，注意力未来还将发挥更大的威力…
注意力并非 RNN 研究中唯一一个激动人心的思路。 Kalchbrenner 等人提出的 Grid LSTM 看起来极具潜力。 Gregor 等人、 Chung 等人，或者 Bayer 与 Osendorfer 在生成模型中使用 RNN 的想法也非常有意思。最近几年是递归神经网络的明星时间，新出的成果只会更具前景。