
摘要
循环神经网络在许多自然语言处理任务中取得了显著的成功。然而,由于其递归结构,循环神经网络在并行化方面存在困难,因此训练RNN需要大量时间。本文介绍了切片循环神经网络(SRNN),通过将序列切分为多个子序列,SRNN可以实现并行化。SRNN能够在增加少量额外参数的情况下,通过多层结构获取高层次的信息。我们证明了当使用线性激活函数时,标准RNN是SRNN的一个特例。在不改变递归单元的前提下,SRNN的训练速度比标准RNN快136倍,并且在训练更长的序列时,其速度可能会更快。我们在六个大规模情感分析数据集上进行的实验表明,SRNN的性能优于标准RNN。