随机梯度下降 Stochastic Gradient Gescent

随机梯度下降是梯度下降算法的一种求解思路,其可以被用于解决梯度下降法的弊端,在随机梯度下降法中,每次迭代可以只用一个训练数据来更新参数。

随机梯度下降特点

  • 优点:训练速度快
  • 缺点:准确度下降、不是全局最优、不易于并行实现

随机梯度下降会最小化所有训练样本的损失函数,是的最终解为全局最优解,即求解参数会使得风险函数最小;其会最小化每条样本的损失函数,虽不是每次迭代得到的损失函数都向着全局最优方向,但整体方向是全局最优解,且最终结果往往在全局最优解附近。

父级词:梯度下降法
相关词:批量梯度下降法、小批量梯度下降法