Rétropropagation de l'erreur accumuléeL'algorithme est un algorithme de réseau neuronal et une variante de l'algorithme de rétropropagation des erreurs. Il est basé sur la règle de mise à jour de minimisation de l'erreur cumulative et ajuste les paramètres dans la direction du gradient négatif de la cible. L’objectif est de minimiser l’erreur d’entraînement. On l'appelle aussi « algorithme de rétropropagation ». Le réseau neuronal multicouche à propagation directe formé à l'aide de cet algorithme est appelé « réseau de rétropropagation ».

Algorithme de rétropropagation d'erreur (BP)

L'algorithme de propagation d'erreur en retour utilise le réseau neuronal direct pour calculer l'erreur d'apprentissage, puis utilise l'erreur d'apprentissage pour agir en retour sur les neurones de la couche cachée, ajustant ainsi les poids de connexion et le seuil de chaque neurone, et grâce à une mise à jour continue, l'erreur d'apprentissage est minimisée.

Actuellement, la plupart des formations de réseaux neuronaux sont basées sur l'algorithme BP, qui peut être utilisé non seulement pour les réseaux neuronaux à alimentation directe multicouches, mais également pour la formation de réseaux neuronaux récursifs, etc. Cependant, « réseau BP » fait généralement référence à un réseau neuronal à alimentation directe multicouche formé avec l'algorithme BP.

Mise en œuvre

Pour chaque exemple d’entraînement, l’algorithme effectue les opérations suivantes :

• Tout d’abord, l’exemple d’entrée est fourni aux neurones de la couche d’entrée, puis le signal est transmis couche par couche jusqu’à ce que la couche de sortie produise le résultat ;
• Ensuite, l’erreur de la couche de sortie est calculée puis rétropropagée aux neurones de la couche cachée ;
• Enfin, les poids et les seuils de connexion sont ajustés en fonction des erreurs des neurones de la couche cachée.

Ce processus itératif se poursuit jusqu’à ce qu’une certaine condition d’arrêt soit atteinte.

Réseau neuronal à propagation avant (FP)

Le réseau neuronal feedforward peut être considéré comme une combinaison de régressions logistiques multiples, sauf que les résultats peuvent être obtenus directement via des neurones de couche cachée. Sa fonction de coût est similaire à la fonction logistique, sauf qu'elle doit additionner différentes catégories.