Traduction non supervisée de machines neuronales avec la traduction statistique des machines comme régularisation a posteriori

En l'absence de corpus bilingues réels, la traduction automatique neuronale non supervisée (NMT) nécessite généralement des données pseudo-parallèles générées par la méthode de retro-traduction pour l'entraînement du modèle. Cependant, en raison d'une supervision faible, les données pseudo-parallèles contiennent inévitablement des bruits et des erreurs qui s'accumulent et se renforcent au cours du processus d'entraînement ultérieur, entraînant une mauvaise performance en traduction. Pour résoudre ce problème, nous introduisons des modèles de traduction statistique basés sur les phrases (SMT), qui sont robustes aux données bruyantes, comme des régularisations a posteriori pour guider l'entraînement des modèles NMT non supervisés dans le processus itératif de retro-traduction. Notre méthode commence par des modèles SMT construits à partir de modèles linguistiques pré-entraînés et de tables de traduction au niveau des mots inférées à partir d'embeddings interlinguistiques. Ensuite, les modèles SMT et NMT sont optimisés conjointement et se renforcent mutuellement progressivement dans un cadre EM unifié. De cette manière, (1) l'effet négatif causé par les erreurs dans le processus itératif de retro-traduction peut être atténué rapidement grâce au filtrage des bruits par les tables de phrases SMT ; en même temps, (2) le NMT peut compenser le manque de fluidité inhérent aux modèles SMT. Les expériences menées sur les tâches de traduction en-fr et en-de montrent que notre méthode surpassent la ligne de base solide et atteint une nouvelle performance d'état de l'art en traduction automatique non supervisée.