HyperAIHyperAI

Command Palette

Search for a command to run...

Réévaluer les perturbations dans les modèles encodeur-décodeur pour une formation rapide

Sho Takase Shun Kiyono

Résumé

Nous utilisons fréquemment des perturbations pour régulariser les modèles neuronaux. Dans le cas des modèles encodeur-décodeur neuronaux, les études antérieures ont appliqué des techniques telles que l’échantillonnage programmé (Bengio et al., 2015) et les perturbations adversariales (Sato et al., 2019), mais ces méthodes nécessitent un temps de calcul important. Cette étude s’attaque donc à la question de l’efficacité de ces approches en termes de temps d’entraînement. Nous comparons plusieurs méthodes de perturbation dans des problèmes de séquence à séquence en fonction de leur temps de calcul. Les résultats expérimentaux montrent que des techniques simples, telles que le dropout sur les mots (Gal et Ghahramani, 2016) ou le remplacement aléatoire des tokens d’entrée, atteignent des performances comparables (voire supérieures) à celles des perturbations récemment proposées, tout en étant plus rapides. Notre code est disponible publiquement à l’adresse suivante : https://github.com/takase/rethink_perturbations.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp