Gradient Stochastique Gescent
Descente de gradient stochastiqueIl s'agit d'une idée de solution de l'algorithme de descente de gradient, qui peut être utilisée pour résoudre les inconvénients de la méthode de descente de gradient. Dans la méthode de descente de gradient stochastique, une seule donnée d'apprentissage peut être utilisée pour mettre à jour les paramètres à chaque itération.
Caractéristiques de descente de gradient stochastique
- Avantages : Vitesse d'entraînement rapide
- Inconvénients : précision réduite, pas optimal globalement, pas facile à mettre en œuvre en parallèle
La descente du gradient stochastique minimisera la fonction de perte de tous les échantillons d'entraînement, de sorte que la solution finale soit la solution optimale globale, c'est-à-dire que les paramètres de la solution minimiseront la fonction de risque ; cela minimisera la fonction de perte de chaque échantillon. Bien que la fonction de perte obtenue à chaque itération ne soit pas dans la direction de la solution optimale globale, la direction globale est la solution optimale globale et le résultat final est souvent proche de la solution optimale globale.