梯度下降算法的演变源于解决大规模数据下计算效率低下的难题。文章以线性回归为例，首先通过数学推导展示了如何求解斜率和截距。对于单变量问题，可以直接利用公式计算；对于多变量问题，则可通过构建矩阵形式的正规方程求解。然而，正规方程需要计算矩阵的逆运算，当数据集规模达到百万级且特征数量庞大时，这种计算开销极高且内存消耗巨大，难以实用。 为此，梯度下降法应运而生。该方法不直接求解方程，而是将参数初始化后，通过计算损失函数（如均方误差）的梯度（即曲线斜率），沿着梯度的反方向逐步更新参数，像下山一样迭代逼近全局最小值。在批量梯度下降中，每次更新都需遍历整个数据集计算平均梯度，这在处理海量数据时依然缓慢。 为了进一步提升效率，随机梯度下降（SGD）被提出。与批量方法不同，SGD每次仅使用一个随机样本计算梯度并立即更新参数。这种机制虽然导致参数更新路径呈现震荡波动，但极大地减少了单次迭代的计算量，使得模型在大规模数据集上训练速度显著加快，收敛过程更为迅速。此外，还有结合两者优点的小批量梯度下降，通过每次使用少量样本进行更新，在训练速度和稳定性之间取得平衡。如今，梯度下降及其变体已成为深度学习和机器学习领域不可或缺的核心优化算法，有效解决了传统闭式解无法处理的复杂模型训练问题。