复活循环神经网络以处理长序列

循环神经网络（RNNs）在长序列上提供快速推理，但优化困难且训练速度较慢。最近的研究表明，深度状态空间模型（SSMs）在长序列建模任务中表现出色，并且具有快速并行训练和类似RNN的快速推理的优势。然而，尽管SSM在表面上与RNN相似，但两者之间存在重要的差异，使得其性能提升的具体来源尚不明确。本文中，我们通过使用标准信号传播理论对深度RNN进行精心设计，展示了其在长程推理任务上的表现可以媲美深度SSM，同时还能匹配其训练速度。为此，我们分析并逐步修改了标准RNN的一系列变化，包括线性化和对角化递归、采用更好的参数化和初始化方法以及确保前向传递的适当规范化。我们的研究结果为深度SSM令人印象深刻的性能提供了新的见解，并引入了一种称为线性递归单元（Linear Recurrent Unit）的RNN模块，在Long Range Arena基准测试中的表现和计算效率均与深度SSM相当。