HyperAIHyperAI

Command Palette

Search for a command to run...

Intégration d'un mécanisme de traduction locale dans la traduction non autoregressive

Xiang Kong Zhisong Zhang Eduard Hovy

Résumé

Dans ce travail, nous introduisons un mécanisme novateur de traduction autoregressive locale (LAT) dans les modèles de traduction non autoregressive (NAT), afin de capturer les dépendances locales entre les sorties cibles. Plus précisément, pour chaque position de décodage cible, au lieu de prédire un seul token, nous prédisons une courte séquence de tokens de manière autoregressive. Nous avons également conçu un algorithme efficace de fusion pour aligner et combiner les segments de sortie en une seule séquence finale. Nous intégrons LAT dans le modèle de langage masqué conditionnel (CMLM ; Ghazvininejad et al., 2019) et adoptons de manière similaire une décodage itératif. Les résultats expérimentaux sur cinq tâches de traduction montrent que, par rapport au CMLM, notre méthode atteint des performances comparables ou supérieures avec un nombre réduit d’itérations de décodage, offrant ainsi un gain de vitesse de 2,5 fois. Une analyse complémentaire indique que notre méthode réduit les traductions redondantes et se comporte mieux sur les phrases plus longues.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp