Régularisation L2

La régularisation $L_{2}$, également connue sous le nom de décroissance des poids (weight decay), est une technique de régularisation appliquée aux poids des réseaux de neurones. En ajoutant un terme de pénalité basé sur la norme $L_{2}$ des poids à la fonction de coût, on obtient une nouvelle fonction de coût : $L_{\text{new}}(w) = L_{\text{original}}(w) + \lambda w^T w$, où $\lambda$ contrôle l'intensité de la pénalité, incitant les valeurs des poids à être plus petites. Cette méthode aide à prévenir le surapprentissage et améliore la généralisation. La décroissance des poids peut être directement intégrée dans la règle de mise à jour des poids, plutôt que d'être définie implicitement par la seule fonction objectif.