HyperAIHyperAI

Command Palette

Search for a command to run...

Meilleurs baselines pour la correction grammaticale à l’aide d’un modèle pré-entraîné encodeur-décodeur

Satoru Katsumata Mamoru Komachi

Résumé

Des études sur la correction des erreurs grammaticales (GEC) ont démontré l’efficacité du préentraînement d’un modèle Seq2Seq à l’aide d’une grande quantité de pseudodonnées. Toutefois, cette approche nécessite un préentraînement long et coûteux en temps en raison de la taille des pseudodonnées. Dans cette étude, nous explorons l’utilité des modèles bidirectionnels et auto-régressifs basés sur les transformateurs (BART) en tant que modèle préentraîné généraliste encodeur-décodeur pour la GEC. Grâce à l’utilisation de ce modèle préentraîné généraliste pour la GEC, il devient possible d’éliminer le préentraînement chronophage. Nous constatons que les modèles BART monolingues et multilingues atteignent des performances élevées en GEC, l’un des résultats étant comparable aux résultats actuels les plus performants en anglais. Nos implémentations sont disponibles publiquement sur GitHub (https://github.com/Katsumata420/generic-pretrained-GEC).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp