Rétropropagation Dans Le Temps

La rétropropagation dans le temps est un algorithme de rétropropagation appliqué aux réseaux neuronaux récurrents (RNN).

BPTT peut être considéré comme l'algorithme de rétropropagation standard appliqué aux RNN, où chaque pas de temps représente une couche de calcul et ses paramètres sont partagés entre les couches de calcul.

Étant donné que le RNN partage les mêmes paramètres à tous les pas de temps, une erreur dans un pas de temps doit être rétropropagée « à travers le temps » à tous les pas de temps précédents, d'où le nom de l'algorithme. Lors du traitement de longues séquences (des centaines d'entrées), une version tronquée de BPTT est souvent utilisée pour réduire les coûts de calcul. Le BPTT tronqué arrête de rétropropager l'erreur après un nombre fixe d'étapes.