HyperAI超神经

通过时间的反向传播 Backpropagation Through Time

通过时间的反向传播是应用于循环神经网络(RNN)的反向传播算法。

BPTT 可被看作是应用于 RNN 的标准反向传播算法,其中的每一个时间步骤都代表一个计算层,而且它的参数是跨计算层共享的。

因为 RNN 在所有的时间步骤中都共享了同样的参数,一个时间步骤的错误必然能「通过时间」反向传播到之前所有的时间步骤,该算法也因而得名。当处理长序列(数百个输入)时,为降低计算成本常常使用一种删节版的 BPTT,删节的 BPTT 会在固定数量的步骤之后停止反向传播错误。