Traduction neuronale de mots rares avec des unités sous-motiales

Les modèles de traduction automatique neuronale (NMT) fonctionnent généralement avec un vocabulaire fixe, mais la traduction est un problème à vocabulaire ouvert. Les travaux antérieurs abordent la traduction des mots hors du vocabulaire en recourant à un dictionnaire. Dans cet article, nous présentons une approche plus simple et efficace, permettant au modèle NMT de réaliser une traduction à vocabulaire ouvert en codant les mots rares et inconnus comme des séquences d'unités sous-mot. Cette approche repose sur l'intuition que diverses classes de mots sont traduisibles par des unités plus petites que les mots, par exemple les noms (par copie de caractères ou translittération), les composés (par traduction compositionnelle) et les mots apparentés et empruntés (par transformations phonologiques et morphologiques). Nous discutons de l'adéquation de différentes techniques de segmentation lexicale, notamment des modèles simples de n-grammes de caractères et d'une segmentation basée sur l'algorithme de compression par codage par paires d'octets (BPE), et montrons empiriquement que les modèles sous-mot améliorent la performance par rapport à une base de référence utilisant un dictionnaire de repli pour les tâches de traduction WMT 15 anglais-allemand et anglais-russe, respectivement, de 1,1 et 1,3 points BLEU.