Backpropagation/BP
Definition von Backpropagation
Backpropagation, kurz für „Error Backpropagation“, ist eine gängige Methode, die in Verbindung mit Optimierungsmethoden zum Trainieren künstlicher neuronaler Netzwerke verwendet wird. Diese Methode berechnet den Gradienten der Verlustfunktion für alle Gewichte im Netzwerk.
Dieser Gradient wird an die Optimierungsmethode zurückgemeldet, um die Gewichte zu aktualisieren und so die Verlustfunktion zu minimieren.
Für die Backpropagation ist die bekannte gewünschte Ausgabe für jeden Eingabewert erforderlich, um den Gradienten der Verlustfunktion zu berechnen. Es handelt sich um eine Verallgemeinerung der Delta-Regel für mehrschichtige Feedforward-Netzwerke. Mit der Kettenregel kann der Gradient jeder Schicht iterativ berechnet werden. Backpropagation erfordert, dass die Aktivierungsfunktion des künstlichen Neurons (oder „Knotens“) differenzierbar ist.
Rückausbreitungsphase
Der Backpropagation-Algorithmus besteht hauptsächlich aus zwei Phasen: Anreizausbreitung und Gewichtsaktualisierung.
Phase 1: Anreize für die Verbreitung schaffen
Die Ausbreitungsphase besteht in jeder Iteration aus zwei Schritten:
(Vorwärtsausbreitungsphase) Geben Sie den Trainingseingang in das Netzwerk ein, um die Reizantwort zu erhalten.
(Rückausbreitungsphase) Subtrahieren Sie die Reizantwort von der Zielausgabe, die der Trainingseingabe entspricht, um den Antwortfehler der Ausgabeschicht und der verborgenen Schicht zu erhalten.
Phase 2: Gewichtsaktualisierung
Für jedes synaptische Gewicht wird die Aktualisierung wie folgt durchgeführt:
Multiplizieren Sie den Eingangsreiz und den Antwortfehler, um den Gradienten des Gewichts zu erhalten.
Multiplizieren Sie diesen Gradienten mit einer Skala, invertieren Sie ihn und addieren Sie ihn zum Gewicht.
Dieses Verhältnis beeinflusst die Geschwindigkeit und Wirkung des Trainingsprozesses. Die Richtung des Gradienten gibt an, in welche Richtung sich der Fehler ausbreitet. Daher muss es beim Aktualisieren der Gewichte negiert werden, um den durch die Gewichte verursachten Fehler zu reduzieren.
Die Phasen 1 und 2 können wiederholt durchlaufen werden, bis die Reaktion des Netzwerks auf die Eingabe einen zufriedenstellenden, vorgegebenen Zielbereich erreicht.
Einschränkungen der Backpropagation
Die Ergebnisse können zu einem Extremwert konvergieren. Wenn es nur ein Minimum gibt, wird die „Hill-Climbing“-Strategie des Gradientenabstiegs auf jeden Fall funktionieren;
Durch Gradientenabstieg können lokale Minima anstelle von globalen Minima gefunden werden.
Die durch Backpropagation-Lernen erzielte Konvergenz ist langsam;
Die Konvergenz des Backpropagation-Lernens ist nicht garantiert;
Backpropagation-Lernen erfordert keine Normalisierung der Eingabevektoren; Durch Normalisierung kann jedoch die Leistung verbessert werden.