HyperAIHyperAI

Command Palette

Search for a command to run...

SummaReranker: إطار إعادة ترتيب متعدد المهام يعتمد على نموذج خبراء متعددة (Mixture-of-Experts) للتلخيص الاستنتاجي

Mathieu Ravaut Shafiq Joty Nancy F. Chen

الملخص

أظهرت الشبكات العصبية التسلسلية-إلى-تسلسل مؤخرًا نجاحًا كبيرًا في التلخيص الاستنتاجي، خاصة من خلال تدريب النماذج الكبيرة المُدرّبة مسبقًا على مجموعة بيانات تطبيقية (downstream dataset). غالبًا ما يتم توليد ملخص فريد باستخدام خوارزمية البحث الشعاعي (beam search) أثناء التفكيك. ومع ذلك، فإن فضاء البحث يكون واسعًا جدًا، وبسبب انحياز التعرض (exposure bias)، فإن هذا الأسلوب لا يُعدّ الأمثل. في هذا البحث، نُظهر إمكانية تدريب نموذج ثانٍ مباشرةً لإجراء إعادة ترتيب (re-ranking) على مجموعة من المرشحات المُلخَّصة. يتعلم نموذج "SummaReranker" المُركب من خبراء متعددين (mixture-of-experts) اختيار مرشح أفضل، مما يُحسّن باستمرار أداء النموذج الأساسي. وباستخدام النموذج الأساسي PEGASUS، تم تحقيق تحسن بنسبة 5.44% في نقاط ROUGE على مجموعة بيانات CNN-DailyMail (47.16 ROUGE-1)، و1.31% على XSum (48.12 ROUGE-1)، و9.34% على Reddit TIFU (29.83 ROUGE-1)، مما يُحقق حالة جديدة من التقدم في الأداء (state-of-the-art). سيتم إتاحة الكود والنقاط المُحفوظة (checkpoints) على الرابط: https://github.com/ntunlp/SummaReranker.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
SummaReranker: إطار إعادة ترتيب متعدد المهام يعتمد على نموذج خبراء متعددة (Mixture-of-Experts) للتلخيص الاستنتاجي | مستندات | HyperAI