梯度提升 (Gradient Boosting) 是一种集成学习算法，它通过结合多个弱预测模型（通常是决策树）来构建一个强预测模型。这种方法的核心是通过优化损失函数来逐步增加模型的复杂度，从而提高预测的准确性。梯度提升可以用于解决回归和分类问题。
这个概念最早由 Jerome H. Friedman 在 1999 年间提出，他将梯度下降的思想引入到 Boosting 算法中，以便处理不同的损失函数。他在论文「Greedy function approximation: a gradient boosting machine」中详细阐述了梯度提升算法的原理和应用。
梯度提升可以使用任何可微分的损失函数，例如平方误差、绝对误差或交叉熵等，使其比其他基于指数损失函数的算法更加灵活和通用。它可以采用任何类型的基学习器，如决策树、神经网络或支持向量机等，增加了算法的多样性和强大性。通过调整学习率、迭代次数和树的深度等参数，梯度提升可以控制模型的复杂度和过拟合程度，提高了算法的稳定性和可控性。
梯度提升技术在制造业、医疗诊断、产品设计、故障诊断和质量检测等领域有广泛应用。