HyperAIHyperAI

Command Palette

Search for a command to run...

Pousser les limites de la désactivation aléatoire

Gábor Melis Charles Blundell Tomáš Kočiský Karl Moritz Hermann Chris Dyer Phil Blunsom

Résumé

Nous démontrons que l'entraînement par dropout est mieux compris comme effectuant une estimation MAP simultanée pour une famille de modèles conditionnels dont les objectifs sont eux-mêmes minorés par l'objectif initial du dropout. Cette découverte nous permet de choisir n'importe quel modèle au sein de cette famille après l'entraînement, ce qui entraîne une amélioration substantielle dans la modélisation linguistique à forte régularisation. La famille comprend des modèles qui calculent une moyenne de puissance sur les masques de dropout échantillonnés, ainsi que leurs sous-variants moins stochastiques avec des bornes inférieures plus serrées et plus élevées que l'objectif de dropout entièrement stochastique. Nous soutenons que, puisque la borne du sous-variant déterministe est égale à son objectif et est la plus élevée parmi ces modèles, la vision prédominante selon laquelle il s'agit d'une bonne approximation de l'agrégation MC (Monte Carlo) est trompeuse. Au lieu de cela, le dropout déterministe est la meilleure approximation disponible de l'objectif réel.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Pousser les limites de la désactivation aléatoire | Articles | HyperAI