Rétropropagation/BP
Définition de la rétropropagation
La rétropropagation, abréviation de « rétropropagation d'erreur », est une méthode courante utilisée en conjonction avec des méthodes d'optimisation pour former des réseaux neuronaux artificiels. Cette méthode calcule le gradient de la fonction de perte pour tous les poids du réseau.
Ce gradient est renvoyé à la méthode d’optimisation pour mettre à jour les poids afin de minimiser la fonction de perte.
La rétropropagation nécessite la sortie souhaitée connue pour chaque valeur d'entrée pour calculer le gradient de la fonction de perte. Il s'agit d'une généralisation de la règle Delta pour les réseaux multicouches à propagation directe. La règle de la chaîne peut être utilisée pour calculer de manière itérative le gradient de chaque couche. La rétropropagation nécessite que la fonction d'activation du neurone artificiel (ou « nœud ») soit différentiable.
Phase de rétropropagation
L'algorithme de rétropropagation se compose principalement de deux étapes : la propagation des incitations et la mise à jour des poids.
Phase 1 : Encourager la diffusion
La phase de propagation de chaque itération se compose de deux étapes :
(Phase de propagation vers l'avant) Introduisez l'entrée d'entraînement dans le réseau pour obtenir la réponse au stimulus ;
(Phase de rétropropagation) Soustrayez la réponse du stimulus de la sortie cible correspondant à l'entrée d'entraînement pour obtenir l'erreur de réponse de la couche de sortie et de la couche cachée.
Phase 2 : Mise à jour du poids
Pour chaque poids synaptique, la mise à jour est effectuée comme suit :
Multipliez le stimulus d’entrée et l’erreur de réponse pour obtenir le gradient du poids ;
Multipliez ce dégradé par une échelle, inversez-le et ajoutez-le au poids.
Ce ratio affectera la vitesse et l’effet du processus de formation. La direction du gradient indique la direction dans laquelle l’erreur s’étend. Par conséquent, il doit être annulé lors de la mise à jour des poids pour réduire l'erreur causée par les poids.
Les étapes 1 et 2 peuvent être répétées à plusieurs reprises jusqu'à ce que la réponse du réseau à l'entrée atteigne une plage cible prédéterminée satisfaisante.
Limitations de la rétropropagation
Les résultats peuvent converger vers une valeur extrême. S'il n'y a qu'un seul minimum, la stratégie de « montée de colline » de descente de gradient fonctionnera certainement ;
La descente de gradient peut trouver des minima locaux au lieu de minima globaux ;
La convergence obtenue à partir de l’apprentissage par rétropropagation est lente ;
La convergence de l’apprentissage par rétropropagation n’est pas garantie ;
L’apprentissage par rétropropagation ne nécessite pas de normalisation des vecteurs d’entrée ; Cependant, la normalisation peut améliorer les performances.