Problem explodierender GradientenDies tritt normalerweise in tiefen Netzwerken auf, wenn der Initialisierungswert des Gewichts zu groß ist, und wird im Allgemeinen deutlicher, wenn die Anzahl der Netzwerkschichten zunimmt.
Wenn das Ergebnis durch die Ableitung der Aktivierungsfunktion größer als 1 ist, nimmt die endgültige Gradientenaktualisierung mit zunehmender Anzahl von Schichten exponentiell zu, d. h. es kommt zu einer Gradientenexplosion. Wenn das Ergebnis kleiner als 1 ist, nimmt die endgültige Gradientenaktualisierung mit zunehmender Anzahl von Schichten exponentiell ab, d. h. es kommt zum Verschwinden des Gradienten.
Die Hauptgründe für die Gradientenexplosion und das Verschwinden von Gradienten sind, dass das Netzwerk zu tief ist und die Aktualisierung der Netzwerkgewichte instabil ist. Im Wesentlichen liegt es daran, dass es bei der Gradientenrückausbreitung zu einem Multiplikationseffekt kommt. Für das Problem des Gradientenverschwindens können Sie erwägen, die Sigmoid-Aktivierungsfunktion durch die ReLU-Aktivierungsfunktion zu ersetzen. Darüber hinaus kann das LSTM-Strukturdesign auch das Problem des Gradientenverschwindens in RNN verbessern.
Lösungen für explodierende Gradienten
- Vortraining plus Feinabstimmung
- Gradienten-Clipping, Gewichtsregulierung
- Verwenden verschiedener Aktivierungsfunktionen
- Verwenden von Batchnorm
- Verwenden der Reststruktur
- Verwenden des LSTM-Netzwerks
Verweise
【1】Verschwindende und explodierende Gradienten beim Training neuronaler Netze
【2】Gradienteninstabilitätsproblem tiefer neuronaler Netzwerke – Gradienten verschwinden und Gradienten explodieren
【3】Detaillierte Erläuterung der Ursachen und Lösungen für das Verschwinden und die Explosion von Gradienten beim maschinellen Lernen