循环神经网络 Recurrent Neural Network

循环神经网络的定义

循环神经网络可以看做是在时间序列的数据中寻找规律,并以此预测未来。其神经元输入不仅需要当前时间点的数据,还需要之前时间点的输出结果,神经元将输出结果返回输入端,如此反复,在时间维度上,展开正如下图:

目前,循环神经网络已经被广泛应用在以语音识别 、语言模型为首的自然语言处理工作上,其中手写识别便是最早成功利用 RNN 的研究成果。

循环神经网络的特点

循环神经网络 RNN 拥有定向循环的概念,它可以被用于处理输入之间前后关联的问题,其中定向循环的结构如下图所示:

相较于前馈神经网络 FNN,循环神经网络更符合生物神经网络的结构。

循环神经网络的应用

在自然语言处理领域,如词向量表达、语句合法性检查、词标注等,循环神经网络是成功的,其中最广泛的模型是 LSTM(Long Short-Term Memory,长短时记忆)模型。目前循环神经网络主要在以下几个方面有所运用:

  • 语言模型与文本生成 Language Modeling and Generating Text
  • 机器翻译 Machine Translation
  • 语音识别 Speech Recognition
  • 图像描述生成 Generating Image Descriptions

参考链接:

1.https://zh.wikipedia.org/wiki/递归神经网络

2.https://www.jianshu.com/p/540946052325

抱歉,暂无相关内容推荐。