Apprentissage du moment de concentrer ou de détourner l'attention : Température d'attention auto-adaptative pour la traduction automatique neuronale

La plupart des modèles de traduction automatique neuronale (Neural Machine Translation, NMT) sont basés sur le modèle séquence-à-séquence (Sequence-to-Sequence, Seq2Seq) doté d'un cadre encodeur-décodage équipé du mécanisme d'attention. Cependant, le mécanisme d'attention conventionnel traite l'étape de décodage à chaque instant de manière égale avec la même matrice, ce qui pose problème car la souplesse de l'attention devrait varier pour différents types de mots (par exemple, les mots de contenu et les mots fonctionnels). Ainsi, nous proposons un nouveau modèle doté d'un mécanisme appelé Contrôle Auto-Adaptatif de Température (Self-Adaptive Control of Temperature, SACT) pour contrôler la souplesse de l'attention par le biais d'une température d'attention. Les résultats expérimentaux sur la traduction chinois-anglais et anglais-vietnamien montrent que notre modèle surpassent les modèles de référence, et l'analyse ainsi que l'étude de cas démontrent que notre modèle peut se concentrer sur les éléments les plus pertinents dans les contextes source et générer une traduction de haute qualité.