Surapprentissage
Surapprentissage C’est un phénomène d’apprentissage automatique. Il s'agit de la situation dans laquelle certains attributs de l'échantillon qui ne sont pas nécessaires à la classification sont appris. Dans ce cas, le modèle d’arbre de décision appris n’est pas le modèle optimal et entraînera une diminution des performances de généralisation.
L'impact du surapprentissage
En statistique et en apprentissage automatique, le surajustement est généralement utilisé pour décrire les erreurs aléatoires ou le bruit dans les modèles statistiques. Cela se produit généralement lorsque le modèle est trop complexe, par exemple lorsqu'il comporte trop de paramètres. Le surajustement affaiblira les performances prédictives du modèle et augmentera la volatilité des données.
Que pouvez-vous faire pour éviter le surapprentissage ?
De nombreux facteurs peuvent conduire à un surapprentissage, généralement dû à une capacité d’apprentissage excessive. Par conséquent, si nous cherchons aveuglément à améliorer la capacité prédictive des données d’entraînement, la complexité du modèle sélectionné sera souvent supérieure à celle du modèle réel, ce qui entraînera un surajustement.
Pour éviter le surapprentissage, il est nécessaire d'utiliser des techniques supplémentaires telles que la validation croisée, la régularisation, l'arrêt précoce, le critère d'information bayésien, le critère d'information d'Akaike ou la comparaison de modèles pour indiquer quand un entraînement supplémentaire ne conduit pas à une meilleure généralisation.
Comment résoudre le surapprentissage
1) Nettoyez à nouveau les données. Cette méthode convient aux situations où les données sont impures ;
2) Réduire le nombre d’échantillons d’entraînement ;
3) Réduire la complexité du modèle ;
4) Augmenter le coefficient du terme de régularisation ;
5) Utilisez la méthode Dropout ;
6) arrêt prématuré ;
7) Réduire le nombre d’itérations ;
8) Augmenter le taux d’apprentissage ;
9) Ajouter des données de bruit ;
10) Effectuer l'élagage dans la structure de l'arbre.