HyperAIHyperAI

Command Palette

Search for a command to run...

Amélioration des modèles de traduction automatique neuronale avec des données monolingues

Rico Sennrich Barry Haddow Alexandra Birch

Résumé

La traduction automatique neuronale (Neural Machine Translation, NMT) a obtenu des performances de pointe pour plusieurs paires de langues, en utilisant uniquement des données parallèles pour l'entraînement. Les données monolingues cibles jouent un rôle important dans l'amélioration de la fluidité pour la traduction statistique basée sur les phrases, et nous examinons l'utilisation de données monolingues pour le NMT. Contrairement aux travaux précédents, qui combinent des modèles NMT avec des modèles de langage entraînés séparément, nous notons que les architectures NMT à encodeur-décodeur ont déjà la capacité d'apprendre les mêmes informations qu'un modèle de langage. Nous explorons donc des stratégies pour entraîner avec des données monolingues sans modifier l'architecture du réseau neuronal. En associant les données d'entraînement monolingues à une traduction rétro-automatique (back-translation), nous pouvons les traiter comme des données d'entraînement parallèles supplémentaires, ce qui nous permet d'obtenir des améliorations substantielles sur la tâche WMT 15 anglais<->allemand (+2.8-3.7 BLEU) et sur la tâche IWSLT 14 turc->anglais (+2.1-3.4 BLEU), atteignant ainsi de nouveaux résultats de pointe. Nous montrons également que le réglage fin (fine-tuning) sur des données monolingues et parallèles spécifiques au domaine donne des améliorations substantielles pour la tâche IWSLT 15 anglais->allemand.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Amélioration des modèles de traduction automatique neuronale avec des données monolingues | Articles | HyperAI