HyperAIHyperAI

Command Palette

Search for a command to run...

Bi-SimCut : Une Stratégie Simple pour Améliorer la Traduction Automatique Neurale

Pengzhi Gao Zhongjun He Hua Wu Haifeng Wang

Résumé

Nous introduisons Bi-SimCut : une stratégie d’entraînement simple mais efficace visant à améliorer les performances de la traduction automatique neuronale (NMT). Elle repose sur deux étapes : un pré-entraînement bidirectionnel suivi d’un fine-tuning unidirectionnel. Les deux étapes exploitent SimCut, une méthode de régularisation simple qui impose une cohérence entre les distributions de sortie des paires de phrases originales et coupées (cutoff). Sans recourir à des jeux de données supplémentaires via la back-translation ni à l’intégration de modèles préentraînés à grande échelle, Bi-SimCut atteint des performances de traduction solides sur cinq benchmarks (les tailles des données varient de 160 K à 20,2 M) : des scores BLEU de 31,16 pour en → de et de 38,37 pour de → en sur le jeu de données IWSLT14, de 30,78 pour en → de et de 35,15 pour de → en sur WMT14, ainsi que de 27,17 pour zh → en sur WMT17. SimCut n’est pas une nouvelle méthode, mais une version simplifiée et adaptée à la NMT de la méthode Cutoff (Shen et al., 2020), pouvant être considérée comme une approche basée sur la perturbation. Étant donné son universalité et sa simplicité, nous pensons que SimCut et Bi-SimCut peuvent servir de références robustes pour les recherches futures en NMT.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp