الانتباه الذاتي مع تمثيلات المواقع النسبية

يعتمد كليًا على آلية الانتباه (الآتنتشن)، حقق النموذج التحويلي (Transformer) الذي قدمه فاسوانى وآخرون (2017) نتائجًا رائدة في مجال ترجمة الآلة. بخلاف الشبكات العصبية المتكررة والشبكات العصبية المُعَلَّمة بالتشويش، لا يُنَمِّذ هذا النموذج معلومات الموقع النسبي أو المطلق ضمن هيكله بشكل صريح. بدلاً من ذلك، يتطلب إضافة تمثيلات للمواقع المطلقة إلى مدخلاته. في هذه الدراسة، نقدم نهجًا بديلًا، حيث نوسع آليات الانتباه الذاتي لاعتبار تمثيلات المواقع النسبية أو المسافات بين عناصر التسلسل بكفاءة. على مهام الترجمة من الإنجليزية إلى الألمانية والإنجليزية إلى الفرنسية في تحدي WMT 2014، يُؤدي هذا النهج إلى تحسينات بمقدار 1.3 نقطة BLEU و0.3 نقطة BLEU على التوالي مقارنة بتمثيلات المواقع المطلقة. من الجدير بالذكر أننا لاحظنا أن الجمع بين تمثيلات المواقع النسبية والمطلقة لم يحقق أي تحسن إضافي في جودة الترجمة. نصف طريقة تنفيذنا بكفاءة ونعتبرها حالة من آليات الانتباه الذاتي الواعية للعلاقات التي يمكن تعميمها على مدخلات مُعلَّمة بالمخططات بشكل تعسفي.