Abandonner

Le dropout est une technique de régularisation utilisée dans l'apprentissage des réseaux neuronaux, proposée par Geoffrey Hinton et son équipe en 2012. Les résultats pertinents de l'article sontAméliorer les réseaux neuronaux en empêchant la co-adaptation des détecteurs de caractéristiquesDe plus, Hinton et al. a publié un article en 2012 intituléClassification ImageNet avec réseaux neuronaux convolutifs profondsL'algorithme Dropout a également été utilisé dans ", ce qui a également eu un impact profond sur le domaine de l'apprentissage profond.

L'idée principale de Dropout est de supprimer de manière aléatoire (temporairement) certains neurones du réseau et leurs connexions pendant le processus de formation pour éviter que le modèle ne soit surajusté. De cette manière, Dropout force chaque neurone du réseau à être indépendant des autres neurones spécifiques, améliorant ainsi la capacité de généralisation du modèle.

L'implémentation clé de Dropout est qu'à chaque itération d'entraînement, chaque neurone est mis à zéro avec une certaine probabilité (généralement un hyperparamètre), de sorte que plusieurs structures de réseau différentes peuvent être créées de manière aléatoire. Au moment du test, tous les neurones sont activés, mais leurs poids sont ajustés en fonction de leur probabilité d'être conservés pendant l'entraînement. Cette approche peut être considérée comme la moyenne de plusieurs modèles de réseau différents pendant la formation et l’utilisation d’une version approximative de ce modèle moyen pendant les tests.

Lorsque l'algorithme a été proposé pour la première fois, il était principalement appliqué aux réseaux neuronaux à propagation directe, mais des recherches ultérieures ont élargi son champ d'application pour l'appliquer également aux réseaux neuronaux convolutifs (CNN) et aux réseaux neuronaux récurrents (RNN). La technologie Dropout s’est avérée efficace sur une variété de tâches, notamment la reconnaissance visuelle, la reconnaissance vocale, la classification de documents et la biologie computationnelle, et a obtenu des résultats de pointe sur de nombreux ensembles de données de référence.