تُقدّم هذه الورقة بحثًا عن نموذج جديد للتدريب المسبق على التسلسل إلى التسلسل يُسمّى ProphetNet، والذي يُقدّم هدفًا ذاتيًا مُراقبًا جديدًا يُدعى تنبؤ النغمات المستقبلية (n-gram prediction) وآلية الانتباه ذات التدفقات المتعددة (n-stream self-attention) المُقترحة. بدلًا من تحسين التنبؤ بخطوة واحدة فقط كما في النماذج التقليدية للتسلسل إلى التسلسل، يتم تحسين ProphetNet من خلال التنبؤ بـ n خطوة إلى الأمام، حيث يتم التنبؤ بـ n رموز متتالية في آنٍ واحد بناءً على الرموز السياقية السابقة في كل خطوة زمنية. يُشجّع تنبؤ النغمات المستقبلية بشكل صريح النموذج على التخطيط للرموز المستقبلية ويعمل على منع التكيف المفرط مع الارتباطات المحلية القوية. تم تدريب ProphetNet مسبقًا باستخدام مجموعة بيانات بحجم أساسي (16 جيجابايت) ومجموعة بيانات بحجم كبير (160 جيجابايت)، على التوالي. ثم أجرينا تجارب على معايير CNN/DailyMail وGigaword وSQuAD 1.1 لمهام التلخيص الاستنتاجي وإنشاء الأسئلة. أظهرت النتائج التجريبية أن ProphetNet حقق نتائج جديدة قياسية على جميع هذه المجموعات مقارنةً بالنماذج التي تستخدم نفس مجموعة البيانات المُدرّبة مسبقًا.