随机梯度下降是梯度下降算法的一种求解思路，其可以被用于解决梯度下降法的弊端，在随机梯度下降法中，每次迭代可以只用一个训练数据来更新参数。
随机梯度下降特点
- 优点：训练速度快
- 缺点：准确度下降、不是全局最优、不易于并行实现
随机梯度下降会最小化所有训练样本的损失函数，是的最终解为全局最优解，即求解参数会使得风险函数最小；其会最小化每条样本的损失函数，虽不是每次迭代得到的损失函数都向着全局最优方向，但整体方向是全局最优解，且最终结果往往在全局最优解附近。
父级词：梯度下降法
相关词：批量梯度下降法、小批量梯度下降法