Bi-SimCut : Une Stratégie Simple pour Améliorer la Traduction Automatique Neurale

Nous introduisons Bi-SimCut : une stratégie d’entraînement simple mais efficace visant à améliorer les performances de la traduction automatique neuronale (NMT). Elle repose sur deux étapes : un pré-entraînement bidirectionnel suivi d’un fine-tuning unidirectionnel. Les deux étapes exploitent SimCut, une méthode de régularisation simple qui impose une cohérence entre les distributions de sortie des paires de phrases originales et coupées (cutoff). Sans recourir à des jeux de données supplémentaires via la back-translation ni à l’intégration de modèles préentraînés à grande échelle, Bi-SimCut atteint des performances de traduction solides sur cinq benchmarks (les tailles des données varient de 160 K à 20,2 M) : des scores BLEU de 31,16 pour en → de et de 38,37 pour de → en sur le jeu de données IWSLT14, de 30,78 pour en → de et de 35,15 pour de → en sur WMT14, ainsi que de 27,17 pour zh → en sur WMT17. SimCut n’est pas une nouvelle méthode, mais une version simplifiée et adaptée à la NMT de la méthode Cutoff (Shen et al., 2020), pouvant être considérée comme une approche basée sur la perturbation. Étant donné son universalité et sa simplicité, nous pensons que SimCut et Bi-SimCut peuvent servir de références robustes pour les recherches futures en NMT.