门控循环神经网络在序列建模中的实证评估

本文比较了循环神经网络（RNNs）中不同类型的循环单元。特别是，我们重点关注实现门控机制的复杂单元，如长短期记忆（LSTM）单元和最近提出的门控循环单元（GRU）。我们在多声部音乐建模和语音信号建模任务上评估了这些循环单元。实验结果表明，这些先进的循环单元确实优于传统的循环单元，例如双曲正切（tanh）单元。此外，我们发现GRU的表现与LSTM相当。