Régularisation
RégularisationIl s’agit du processus d’introduction d’informations supplémentaires pour résoudre un problème ou éviter un surapprentissage. C'est une méthode courante en mathématiques, en statistiques et en informatique, en particulier dans l'apprentissage automatique et les problèmes inverses.
Méthodes de régularisation courantes
- Régularisation L2 : La somme des carrés de tous les paramètres w, divisée par la taille de l'échantillon n de l'ensemble d'apprentissage, λ est le coefficient du terme de régularisation, qui est utilisé pour pondérer la proportion du terme de régularisation et du terme C0. De plus, il y a un coefficient 1/2. Le but de l’ajout de termes de régularisation est de réduire la somme des carrés des paramètres. La méthode de régularisation la plus couramment utilisée dans l’apprentissage automatique consiste à imposer une contrainte de norme L2 sur les poids.
- Régularisation L1 : La somme des valeurs absolues de tous les poids w est multipliée par λ/n. La régularisation L1 ajoute un terme de régularisation à la fonction objective pour réduire la valeur absolue des paramètres et est souvent utilisée dans la sélection de fonctionnalités.
- Abandon : la régularisation L1 et L2 est obtenue en modifiant la fonction de coût, tandis que l'abandon est obtenu en modifiant le réseau neuronal lui-même. C'est une technique utilisée lors de la formation des réseaux neuronaux.
- Drop Connect : une généralisation de Dropout, c'est une autre stratégie de régularisation pour réduire le surapprentissage de l'algorithme. Drop Connect définit généralement un sous-ensemble sélectionné au hasard des pondérations de l'architecture réseau sur 0.
- Arrêt précoce : limitation du nombre d'itérations d'entraînement requises pour que le modèle minimise la fonction de coût, qui est souvent utilisée pour empêcher les modèles surexprimés d'avoir de mauvaises performances de généralisation pendant l'entraînement.