摘要
循环神经网络（Recurrent Neural Networks, RNNs）的训练本身具有挑战性，而具有深层空间结构的RNN更是如此。为提升模型在时间步之间状态转移的深度，从而增强表达能力，基于高速公路连接（highway connections）的架构，如循环高速公路网络（Recurrent Highway Network, RHN），被提出。然而，这类模型在处理需要捕捉长期依赖关系的问题时仍存在局限。此外，随着空间深度的增加，模型保持长期记忆的能力往往减弱，这是因为更深的网络结构可能加剧梯度消失问题。针对上述挑战，本文提出一种基于RHN的新型RNN架构——分组辅助记忆循环高速公路网络（Recurrent Highway Network with Grouped Auxiliary Memory, GAM-RHN）。该架构通过一组专门用于存储长期信息的辅助记忆单元，与RHN进行互联，并借助读取与写入操作实现信息的交互，其机制与记忆增强神经网络（Memory Augmented Neural Networks, MANNs）类似。在人工长时滞任务上的实验结果表明，GAM-RHN能够在时间维度和空间维度均具备深度的前提下实现高效训练。此外，我们在语言建模、序列图像分类以及金融市场预测等多个任务上对所提架构进行了评估。实验结果证明，该方法在各项任务中均取得了当前最优（state-of-the-art）性能，充分展现了其潜在优势。