Rückausbreitung des akkumulierten FehlersDer Algorithmus ist ein neuronaler Netzwerkalgorithmus und eine Variante des Error Backpropagation-Algorithmus. Es basiert auf der Aktualisierungsregel zur Minimierung des kumulativen Fehlers und passt die Parameter in der negativen Gradientenrichtung des Ziels an. Ziel ist es, den Trainingsfehler zu minimieren. Er wird auch „Backpropagation-Algorithmus“ genannt. Das mit diesem Algorithmus trainierte mehrschichtige Feedforward-Neuronale Netzwerk wird als „Backpropagation-Netzwerk“ bezeichnet.

Fehler-Backpropagation Fehler-Backpropagation-Algorithmus (BP)

Der Algorithmus zur Rückausbreitung von Fehlern berechnet den Trainingsfehler mithilfe des Vorwärtsneuronalen Netzwerks und nutzt dann den Trainingsfehler, um auf die Neuronen der verborgenen Schicht zurückzuwirken. Dadurch werden die Verbindungsgewichte und der Schwellenwert jedes Neurons angepasst. Durch kontinuierliche Aktualisierung wird der Trainingsfehler minimiert.

Derzeit basiert das Training neuronaler Netzwerke größtenteils auf dem BP-Algorithmus, der nicht nur für mehrschichtige Feedforward-Neuronale Netzwerke, sondern auch für das Training rekursiver neuronaler Netzwerke usw. verwendet werden kann. Allerdings bezieht sich „BP-Netzwerk“ im Allgemeinen auf ein mehrschichtiges Feedforward-Neuronales Netzwerk, das mit dem BP-Algorithmus trainiert wurde.

Durchführung

Für jedes Trainingsbeispiel führt der Algorithmus die folgenden Operationen aus:

• Zuerst wird das Eingabebeispiel den Neuronen der Eingabeschicht bereitgestellt, und dann wird das Signal Schicht für Schicht weitergeleitet, bis die Ausgabeschicht das Ergebnis erzeugt.
• Dann wird der Fehler der Ausgabeschicht berechnet und dann an die Neuronen der verborgenen Schicht zurückpropagiert.
• Schließlich werden die Verbindungsgewichte und Schwellenwerte entsprechend den Fehlern der Neuronen der verborgenen Schicht angepasst.

Dieser iterative Prozess wird fortgesetzt, bis eine bestimmte Abbruchbedingung erreicht ist.

Feedforward-Neuronales Netzwerk (FP)

Das Feedforward-Neuralnetzwerk kann als Kombination mehrerer logistischer Regressionen betrachtet werden, mit der Ausnahme, dass die Ergebnisse direkt durch Neuronen der verborgenen Schicht erhalten werden können. Seine Kostenfunktion ähnelt der logistischen Funktion, mit der Ausnahme, dass sie über verschiedene Kategorien summieren muss.