HyperAI超神经

人类的注意力机制基于直觉，它是人类利用有限的资源，从大量信息中快速筛选出高价值信息的手段。深度学习中的注意力机制借鉴了人类的注意力思维方式，被广泛的应用在自然语言处理、图像分类、语音识别等各种不同类型的场景中，并取得了显著的成果。

Encoder-Decoder 是深度学习中非常常见的一个模型框架，在 Image Caption 的应用中 Encoder-Decoder 就是 CNN-RNN 的编码– 解码框架；在神经网络机器翻译模型中 Encoder-Decoder 往往就是 LSTM-LSTM 的编码– 解码框架。

编码，即将输入序列编码成一个固定长度的向量；解码，便是将之前生成的固定向量再解码成输出序列。

Attention 模型主要应用于深度学习，其中主要分为自然语言理解、图像识别和语音识别三大领域。

Attention 模型在自然语言理解中起到关键作用，谷歌在最新发布的机器翻译中就采用了 Attention 模型，主要用于从长句子或段落中提取关键词，如下图：

图像识别中，Attention 模型被用于图像分类和图像生成，下图是关于图像标题生成的应用：

该研究中将 Attention 模型的权值可视化并显示在原图中，即图中白色的区域，从图中可以得知飞盘和狗分别与句子中的 frisbee 和 dog 形成了对应关系。

基于 Attention 模型的 Encoder-Decoder 框架取得了较好的结果，其也建立了语音与单词之间的对应关系。

Attention Mechanism 注意力机制