Amélioration des modèles de traduction automatique neuronale avec des données monolingues

La traduction automatique neuronale (Neural Machine Translation, NMT) a obtenu des performances de pointe pour plusieurs paires de langues, en utilisant uniquement des données parallèles pour l'entraînement. Les données monolingues cibles jouent un rôle important dans l'amélioration de la fluidité pour la traduction statistique basée sur les phrases, et nous examinons l'utilisation de données monolingues pour le NMT. Contrairement aux travaux précédents, qui combinent des modèles NMT avec des modèles de langage entraînés séparément, nous notons que les architectures NMT à encodeur-décodeur ont déjà la capacité d'apprendre les mêmes informations qu'un modèle de langage. Nous explorons donc des stratégies pour entraîner avec des données monolingues sans modifier l'architecture du réseau neuronal. En associant les données d'entraînement monolingues à une traduction rétro-automatique (back-translation), nous pouvons les traiter comme des données d'entraînement parallèles supplémentaires, ce qui nous permet d'obtenir des améliorations substantielles sur la tâche WMT 15 anglais<->allemand (+2.8-3.7 BLEU) et sur la tâche IWSLT 14 turc->anglais (+2.1-3.4 BLEU), atteignant ainsi de nouveaux résultats de pointe. Nous montrons également que le réglage fin (fine-tuning) sur des données monolingues et parallèles spécifiques au domaine donne des améliorations substantielles pour la tâche IWSLT 15 anglais->allemand.