HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage du moment de concentrer ou de détourner l'attention : Température d'attention auto-adaptative pour la traduction automatique neuronale

Junyang Lin; Xu Sun; Xuancheng Ren; Muyu Li; Qi Su

Résumé

La plupart des modèles de traduction automatique neuronale (Neural Machine Translation, NMT) sont basés sur le modèle séquence-à-séquence (Sequence-to-Sequence, Seq2Seq) doté d'un cadre encodeur-décodage équipé du mécanisme d'attention. Cependant, le mécanisme d'attention conventionnel traite l'étape de décodage à chaque instant de manière égale avec la même matrice, ce qui pose problème car la souplesse de l'attention devrait varier pour différents types de mots (par exemple, les mots de contenu et les mots fonctionnels). Ainsi, nous proposons un nouveau modèle doté d'un mécanisme appelé Contrôle Auto-Adaptatif de Température (Self-Adaptive Control of Temperature, SACT) pour contrôler la souplesse de l'attention par le biais d'une température d'attention. Les résultats expérimentaux sur la traduction chinois-anglais et anglais-vietnamien montrent que notre modèle surpassent les modèles de référence, et l'analyse ainsi que l'étude de cas démontrent que notre modèle peut se concentrer sur les éléments les plus pertinents dans les contextes source et générer une traduction de haute qualité.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp