تعلم متى يجب التركيز أو تحويل الانتباه: درجة حرارة الانتباه الذاتية التكيفية للترجمة الآلية العصبية

معظم نماذج الترجمة الآلية العصبية (NMT) تعتمد على نموذج التسلسل إلى تسلسل (Seq2Seq) مع إطار مُشفِّر-مُفكِّك مجهز بآلية الانتباه. ومع ذلك، فإن الآلية التقليدية للانتباه تتعامل مع عملية فك الشفرة في كل خطوة زمنية بشكل متساوٍ باستخدام نفس المصفوفة، وهو ما يشكل مشكلة لأن درجة لين الانتباه يجب أن تختلف حسب أنواع الكلمات المختلفة (مثل كلمات المحتوى وكلمات الوظيفة). لذلك، نقترح نموذجًا جديدًا مع آلية تسمى التحكم الذاتي في درجة حرارة الانتباه (Self-Adaptive Control of Temperature - SACT) لتحكم في درجة لين الانتباه من خلال درجة حرارة الانتباه. أظهرت النتائج التجريبية في ترجمة الصينية-الإنجليزية والإنجليزية-الفيتنامية أن نموذجنا يتفوق على النماذج الأساسية، وأن التحليل ودراسة الحالة يدلان على قدرة نموذجنا على التركيز على العناصر الأكثر صلة في سياقات الجانب المصدر وإنتاج ترجمة عالية الجودة.