Intégration d'un mécanisme de traduction locale dans la traduction non autoregressive

Dans ce travail, nous introduisons un mécanisme novateur de traduction autoregressive locale (LAT) dans les modèles de traduction non autoregressive (NAT), afin de capturer les dépendances locales entre les sorties cibles. Plus précisément, pour chaque position de décodage cible, au lieu de prédire un seul token, nous prédisons une courte séquence de tokens de manière autoregressive. Nous avons également conçu un algorithme efficace de fusion pour aligner et combiner les segments de sortie en une seule séquence finale. Nous intégrons LAT dans le modèle de langage masqué conditionnel (CMLM ; Ghazvininejad et al., 2019) et adoptons de manière similaire une décodage itératif. Les résultats expérimentaux sur cinq tâches de traduction montrent que, par rapport au CMLM, notre méthode atteint des performances comparables ou supérieures avec un nombre réduit d’itérations de décodage, offrant ainsi un gain de vitesse de 2,5 fois. Une analyse complémentaire indique que notre méthode réduit les traductions redondantes et se comporte mieux sur les phrases plus longues.