Transformateur Glissant pour la Traduction Automatique Neuronale Non-Auto-régressive

Les travaux récents sur la traduction automatique neurale non autoregressive (NAT) visent à améliorer l'efficacité grâce à un décodage parallèle, sans compromettre la qualité. Toutefois, les méthodes NAT existantes sont soit inférieures au modèle Transformer, soit nécessitent plusieurs passages de décodage, ce qui limite leur accélération. Nous proposons le Modèle Linguistique Parcours (GLM), une méthode permettant d'apprendre les dépendances entre mots pour des modèles de génération parallèle à un seul passage. Grâce au GLM, nous développons le Transformer Parcours (GLAT) pour la traduction automatique. En n'utilisant qu'un seul passage de décodage parallèle, GLAT parvient à générer des traductions de haute qualité tout en offrant un gain de vitesse de 8 à 15 fois. Des expériences menées sur plusieurs directions linguistiques du WMT montrent que GLAT surpasse toutes les méthodes non autoregressive précédentes à un seul passage, et se rapproche fortement du modèle Transformer, réduisant l'écart à seulement 0,25 à 0,9 point BLEU.