確率的勾配降下法これは、勾配降下法の欠点を解決するために使用できる勾配降下法アルゴリズムの解決策のアイデアです。確率的勾配降下法では、各反復でパラメーターを更新するために使用できるトレーニング データは 1 つだけです。

確率的勾配降下の特徴

• 利点: トレーニングが早い
• 短所: 精度の低下、全体的に最適ではない、並列実装が容易ではない

確率的勾配降下法は、すべてのトレーニング サンプルの損失関数を最小化します。はい、最終的な解は全体的な最適解です。つまり、パラメーターを解決すると、各サンプルの損失関数が最小化されます。各反復で得られる損失関数はすべて大域的な最適な方向に向かって進みますが、全体的な方向は大域的な最適解であり、最終結果は大域的な最適解に近いことがよくあります。

親単語: 勾配降下法

関連ワード: バッチ勾配降下法、ミニバッチ勾配降下法