Gradient Boosting est un algorithme d'apprentissage d'ensemble qui construit un modèle de prédiction fort en combinant plusieurs modèles de prédiction faibles (généralement des arbres de décision). Le cœur de cette méthode est d’augmenter progressivement la complexité du modèle en optimisant la fonction de perte, améliorant ainsi la précision de la prédiction. Le gradient boosting peut être utilisé pour résoudre à la fois les problèmes de régression et de classification.

Ce concept a été proposé pour la première fois par Jerome H. Friedman en 1999, qui a introduit l'idée de descente de gradient dans l'algorithme Boosting afin de gérer différentes fonctions de perte. Dans son articleApproximation de fonction gloutonne : une machine à booster le gradient« Les principes et les applications de l'algorithme de boosting de gradient sont expliqués en détail.

L'amplification de gradient peut utiliser n'importe quelle fonction de perte différentiable, telle que l'erreur quadratique, l'erreur absolue ou l'entropie croisée, ce qui la rend plus flexible et générale que d'autres algorithmes basés sur des fonctions de perte exponentielles. Il peut utiliser n'importe quel type d'apprenant de base, tel qu'un arbre de décision, un réseau neuronal ou une machine à vecteurs de support, ce qui augmente la diversité et la puissance de l'algorithme. En ajustant des paramètres tels que le taux d'apprentissage, le nombre d'itérations et la profondeur de l'arbre, l'amplification du gradient peut contrôler la complexité et le degré de surajustement du modèle, améliorant ainsi la stabilité et la contrôlabilité de l'algorithme.

La technologie d'amplification de gradient est largement utilisée dans la fabrication, le diagnostic médical, la conception de produits, le diagnostic des défauts et l'inspection de la qualité.