Stochastischer GradientenabstiegEs handelt sich um eine Lösungsidee des Gradientenabstiegsalgorithmus, mit der die Nachteile der Gradientenabstiegsmethode behoben werden können. Bei der Methode des stochastischen Gradientenabstiegs können nur Trainingsdaten verwendet werden, um die Parameter in jeder Iteration zu aktualisieren.

Funktionen des stochastischen Gradientenabstiegs

• Vorteile: Schnelle Trainingsgeschwindigkeit
• Nachteile: reduzierte Genauigkeit, nicht global optimal, nicht einfach parallel zu implementieren

Durch den stochastischen Gradientenabstieg wird die Verlustfunktion aller Trainingsbeispiele minimiert, sodass die endgültige Lösung die globale Optimallösung ist, d. h. die Lösungsparameter werden die Risikofunktion minimieren. Dadurch wird die Verlustfunktion jeder Probe minimiert. Obwohl die in jeder Iteration erhaltene Verlustfunktion nicht in Richtung der globalen Optimallösung weist, ist die Gesamtrichtung die globale Optimallösung, und das Endergebnis liegt häufig nahe an der globalen Optimallösung.

Übergeordneter Begriff: Gradientenabstieg

Verwandte Begriffe: Batch-Gradientenabstieg, Mini-Batch-Gradientenabstieg