HyperAIHyperAI

Command Palette

Search for a command to run...

Transformateur Glissant pour la Traduction Automatique Neuronale Non-Auto-régressive

Lihua Qian Hao Zhou Yu Bao Mingxuan Wang Lin Qiu Weinan Zhang Yong Yu Lei Li

Résumé

Les travaux récents sur la traduction automatique neurale non autoregressive (NAT) visent à améliorer l'efficacité grâce à un décodage parallèle, sans compromettre la qualité. Toutefois, les méthodes NAT existantes sont soit inférieures au modèle Transformer, soit nécessitent plusieurs passages de décodage, ce qui limite leur accélération. Nous proposons le Modèle Linguistique Parcours (GLM), une méthode permettant d'apprendre les dépendances entre mots pour des modèles de génération parallèle à un seul passage. Grâce au GLM, nous développons le Transformer Parcours (GLAT) pour la traduction automatique. En n'utilisant qu'un seul passage de décodage parallèle, GLAT parvient à générer des traductions de haute qualité tout en offrant un gain de vitesse de 8 à 15 fois. Des expériences menées sur plusieurs directions linguistiques du WMT montrent que GLAT surpasse toutes les méthodes non autoregressive précédentes à un seul passage, et se rapproche fortement du modèle Transformer, réduisant l'écart à seulement 0,25 à 0,9 point BLEU.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp