递归神经网络的架构复杂性度量

本文系统地分析了循环神经网络（RNNs）的连接架构。我们的主要贡献有两方面：首先，我们提出了一种严格的图论框架，用于描述RNNs的一般连接架构。其次，我们提出了三个衡量RNN架构复杂度的指标：(a) 循环深度（recurrent depth），该指标反映了RNN随时间变化的非线性复杂度；(b) 前馈深度（feedforward depth），该指标捕捉了局部输入输出的非线性关系（类似于前馈神经网络（FNNs）中的“深度”）；(c) 循环跳过系数（recurrent skip coefficient），该指标反映了信息随时间传播的速度。我们严格证明了每个指标的存在性和可计算性。实验结果表明，增加循环深度和前馈深度可能对RNNs有益。此外，我们还展示了增加循环跳过系数可以提高解决长期依赖问题的性能。