مُعالجة الزخم للإنشاء النصي

يمكن تحويل المدخلات والمحصلات لمعظم مهام توليد النصوص إلى تسلسلين من الرموز (tokens)، ويمكن نمذجتها باستخدام أدوات التعلم التسلسلي-إلى-التسلسلي مثل نماذج Transformers. عادةً ما تُدرَّب هذه النماذج بتحقيق أعلى احتمال للسلسلة الناتجة من النص، مع افتراض أن السلسلة المدخلة وجميع الرموز الذهبية السابقة متوفرة أثناء التدريب، بينما أثناء الاستنتاج يعاني النموذج من مشكلة التحيز في التعرض (أي أنه يمتلك فقط وصولًا إلى الرموز المتنبأ بها سابقًا من قبل النموذج، وليس الرموز الذهبية، أثناء عملية البحث الشعاعي). في هذه الورقة، نقترح منهجية MoCa ({\bf Mo}mentum {\bf Ca}libration) لتوليد النصوص. تُعد MoCa طريقة مباشرة (online) تُولِّد عينات تتطور ببطء (لكن بشكل متسق) باستخدام مُولِّد متوسط متحرك بالزمن (momentum moving average) مع خوارزمية البحث الشعاعي، وتعلم MoCa محاذاة درجات النموذج لهذه العينات مع جودتها الفعلية. أظهرت التجارب على أربع مجموعات بيانات لتوليد النصوص (أي CNN/DailyMail، XSum، SAMSum، وGigaword) أن MoCa تحسّن باستمرار النماذج القوية المُدرَّبة مسبقًا باستخدام التخصيص القياسي (vanilla fine-tuning)، وحققنا أفضل النتائج المُحققة حتى الآن على مجموعتي بيانات CNN/DailyMail وSAMSum.