循环批归一化

我们提出了一种LSTM的重新参数化方法，该方法将批量归一化的优点引入到递归神经网络中。以往的研究仅将批量归一化应用于RNN的输入到隐藏层的转换，而我们证明了对隐藏层到隐藏层的转换进行批量归一化不仅是可行的，而且是有益的，从而减少了时间步之间的内部协变量偏移。我们在各种序列问题上评估了这一提议，包括序列分类、语言建模和问答任务。实验结果表明，我们的批量归一化LSTM在收敛速度和泛化性能方面均表现出显著的优势。