摘要
正交参数化是解决循环神经网络（RNN）中梯度消失问题（Vanishing Gradient Problem, VGP）的一种有效方案。通过采用正交参数和非饱和激活函数，此类模型中的梯度被约束在单位范数范围内，从而有效缓解了梯度消失现象。然而，尽管传统的标准RNN具有较高的记忆容量，却普遍面临梯度消失问题，在诸多应用中表现不佳。为此，本文提出了一种自适应饱和RNN（Adaptive-Saturated RNN, asRNN），该模型能够在前述两种方法之间动态调整其饱和程度。由此，asRNN兼具标准RNN的记忆容量优势与正交RNN的训练稳定性。实验结果表明，与多个强基准模型相比，asRNN在多个具有挑战性的序列学习基准任务上均取得了令人鼓舞的性能表现。相关研究代码已开源，可通过以下链接获取：https://github.com/ndminhkhoi46/asRNN/。