Rückwärtspropagation Durch Die Zeit

Backpropagation durch die Zeit ist ein Backpropagation-Algorithmus, der auf rekurrierende neuronale Netzwerke (RNNs) angewendet wird.

BPTT kann als der auf RNNs angewendete Standard-Backpropagation-Algorithmus betrachtet werden, wobei jeder Zeitschritt eine Berechnungsschicht darstellt und seine Parameter über alle Berechnungsschichten hinweg gemeinsam genutzt werden.

Da das RNN bei allen Zeitschritten dieselben Parameter verwendet, muss ein Fehler in einem Zeitschritt „durch die Zeit“ auf alle vorherigen Zeitschritte zurückpropagiert werden, daher der Name des Algorithmus. Bei der Verarbeitung langer Sequenzen (Hunderte von Eingaben) wird häufig eine gekürzte Version von BPTT verwendet, um den Rechenaufwand zu reduzieren. Das gekürzte BPTT stoppt die Rückpropagierung des Fehlers nach einer festen Anzahl von Schritten.