HyperAIHyperAI

Command Palette

Search for a command to run...

Une Approche à Faible Ressource pour la Correction Grammaticale des Textes Ukrainiens

and Dan Roth Alla Rozovskaya Frank Palma Gomez

Résumé

Nous présentons notre système participant à la tâche partagée de correction des erreurs grammaticales en ukrainien. Nous avons mis en œuvre deux approches exploitant des grands modèles linguistiques pré-entraînés et des données synthétiques, déjà utilisées pour la correction d’erreurs grammaticales en anglais ainsi que pour les langues à faible ressource. La première approche repose sur un entraînement progressif (fine-tuning) d’un grand modèle multilingue (mT5) en deux étapes : d’abord sur des données synthétiques, puis sur des données d’or (gold). La seconde approche consiste à entraîner un modèle Transformer seq2seq plus petit, pré-entraîné sur des données synthétiques, puis finement ajusté sur des données d’or. Notre modèle basé sur mT5 a obtenu la première place dans la catégorie « GEC uniquement », et une très bonne deuxième place dans la catégorie « GEC + Fluidité ». Nos deux innovations principales sont : (1) l’entraînement progressif en deux étapes, d’abord sur des données synthétiques, puis sur des données d’or ; et (2) une méthode de corruption de haute qualité fondée sur une traduction automatique aller-retour (roundtrip machine translation), complétant ainsi les approches existantes de bruitage (noisification).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp