Traduction non-autorégressive par apprentissage de codes catégoriques cibles

Le Transformer non-autoregressif est un modèle prometteur pour la génération de texte. Toutefois, les modèles non-autoregressifs actuels peinent encore à atteindre la qualité de traduction des modèles autoregressifs. Nous attribuons cet écart en précision au manque de modélisation des dépendances entre les entrées du décodeur. Dans cet article, nous proposons CNAT, un modèle qui apprend implicitement des codes catégoriels comme variables latentes au cours du décodage non-autoregressif. L’interaction entre ces codes catégoriels permet de pallier les dépendances manquantes et d’améliorer la capacité du modèle. Les résultats expérimentaux montrent que notre modèle atteint une performance comparable ou supérieure à plusieurs baselines performantes dans les tâches de traduction automatique.