الانتباه الذاتي المشترك للمصدر والهدف مع قيود الجوار

النماذج الرئيسية للترجمة الآلية العصبية تعتمد على هيكل المُشفر-المُفكك (encoder-decoder)، وتعتمد العديد منها على حقل استقبالي غير مقيد على التسلسلات المصدر والهدف. في هذا البحث، ندرس هندسة جديدة تكسر كلا التقليدين. يتكون هيكلنا المبسط من جزء المُفكك من نموذج الترانسفورمر (transformer) القائم على الانتباه الذاتي (self-attention)، ولكن مع قيود محلية مطبقة على حقل الاستقبال الانتباهي. كمدخل للتدريب، يتم تقديم كل من الجمل المصدر والهدف إلى الشبكة، والتي يتم تدريبها كنموذج لغوي. في وقت الاستدلال، يتم التنبؤ بالرموز الهدف بشكل ذاتي الانحدار بدءًا من تسلسل المصدر كرموز سابقة. يحقق النموذج المقترح مستوى جديدًا من الفن الرفيع بمقدار 35.7 BLEU على معيار الترجمة الألماني-الإنجليزي IWSLT'14 ويتوافق مع أفضل النتائج المبلغ عنها في الأدب العلمي على معايير الترجمة الإنجليزي-الألماني WMT'14 والإنجليزي-الفرنسي WMT'14.