Hyperparamètres

Dans l’apprentissage automatique, les hyperparamètres sont des paramètres donnés à l’avance pour contrôler le processus d’apprentissage. Les valeurs d’autres paramètres (tels que les poids des nœuds) sont obtenues grâce à la formation.Les hyperparamètres sont des choix de configuration qui déterminent la manière dont un algorithme d’apprentissage automatique apprend à partir des données ; ils sont définis par l'utilisateur et ne sont pas appris au cours du processus de formation. Les exemples d’hyperparamètres incluent le taux d’apprentissage, le nombre de couches cachées dans un réseau neuronal, le nombre d’arbres de décision dans une forêt aléatoire et le paramètre de régularisation dans la régression linéaire.

Les hyperparamètres peuvent être divisés en hyperparamètres de modèle et en hyperparamètres d'algorithme. Les hyperparamètres de modèle sont principalement utilisés pour la sélection de modèles et n'aident pas à apprendre les caractéristiques de l'ensemble d'apprentissage. En revanche, les hyperparamètres de l’algorithme n’ont théoriquement aucun effet sur les performances du modèle, mais affecteront la vitesse et la qualité de l’apprentissage. Un hyperparamètre de modèle typique est la topologie et la taille du réseau neuronal ; tandis que le taux d'apprentissage et la taille du lot (taille du lot) et la taille du mini-lot (taille du mini-lot) sont des hyperparamètres d'algorithme typiques.

Différents algorithmes de formation de modèles nécessitent différents hyperparamètres. Certains algorithmes simples (comme la régression des moindres carrés ordinaires) ne nécessitent pas d’hyperparamètres. Le choix d’hyperparamètres appropriés est crucial car il affecte directement les performances et le comportement des modèles d’apprentissage automatique. Définir des hyperparamètres trop bas peut entraîner un sous-ajustement, dans lequel le modèle ne parvient pas à capturer les modèles sous-jacents dans les données. À l’inverse, les définir trop haut peut conduire à un surajustement, où le modèle devient trop complexe et mémorise les données d’entraînement au lieu de bien généraliser aux données invisibles. Le réglage des hyperparamètres est le processus de recherche de la meilleure combinaison d’hyperparamètres pour une tâche d’apprentissage automatique donnée. Cela se fait généralement via une recherche de grille, une recherche aléatoire ou des techniques plus avancées comme l'optimisation bayésienne. En explorant systématiquement différentes combinaisons d’hyperparamètres, les chercheurs peuvent identifier la configuration qui maximise les performances du modèle sur un ensemble de validation.

Références

【1】https://zh.wikipedia.org/wiki/1T P3TB0_()

【2】https://encord.com/glossary/hyper-parameters-definition/