SummaReranker: إطار إعادة ترتيب متعدد المهام يعتمد على نموذج خبراء متعددة (Mixture-of-Experts) للتلخيص الاستنتاجي

أظهرت الشبكات العصبية التسلسلية-إلى-تسلسل مؤخرًا نجاحًا كبيرًا في التلخيص الاستنتاجي، خاصة من خلال تدريب النماذج الكبيرة المُدرّبة مسبقًا على مجموعة بيانات تطبيقية (downstream dataset). غالبًا ما يتم توليد ملخص فريد باستخدام خوارزمية البحث الشعاعي (beam search) أثناء التفكيك. ومع ذلك، فإن فضاء البحث يكون واسعًا جدًا، وبسبب انحياز التعرض (exposure bias)، فإن هذا الأسلوب لا يُعدّ الأمثل. في هذا البحث، نُظهر إمكانية تدريب نموذج ثانٍ مباشرةً لإجراء إعادة ترتيب (re-ranking) على مجموعة من المرشحات المُلخَّصة. يتعلم نموذج "SummaReranker" المُركب من خبراء متعددين (mixture-of-experts) اختيار مرشح أفضل، مما يُحسّن باستمرار أداء النموذج الأساسي. وباستخدام النموذج الأساسي PEGASUS، تم تحقيق تحسن بنسبة 5.44% في نقاط ROUGE على مجموعة بيانات CNN-DailyMail (47.16 ROUGE-1)، و1.31% على XSum (48.12 ROUGE-1)، و9.34% على Reddit TIFU (29.83 ROUGE-1)، مما يُحقق حالة جديدة من التقدم في الأداء (state-of-the-art). سيتم إتاحة الكود والنقاط المُحفوظة (checkpoints) على الرابط: https://github.com/ntunlp/SummaReranker.