Hie-BART: تلخيص المستندات باستخدام BART الهرمي

يُقدّم هذا البحث نموذجًا جديدًا لاستخلاص ملخصات وثائقية استنتاجية يُسمّى BART الهرمي (Hie-BART)، الذي يُعنى بتمثيل الهياكل الهرمية للوثيقة (أي الهياكل الجملية-الكلماتية) ضمن نموذج BART. وعلى الرغم من أن النموذج الحالي BART قد حقق أداءً متميزًا على مهام استخلاص ملخصات الوثائق، إلا أن النموذج لا يحتوي على تفاعلات بين المعلومات على مستوى الجملة والمعلومات على مستوى الكلمات. في مهام الترجمة الآلية، تم تحسين أداء نماذج الترجمة الآلية العصبية من خلال دمج انتباه ذاتي متعدد الحُجُم (MG-SA)، الذي يُمكّن من التقاط العلاقات بين الكلمات والعبارات. مستوحى من العمل السابق، يُدمج النموذج المقترح Hie-BART انتباهًا ذاتيًا متعدد الحُجُم (MG-SA) في المُشفّر الخاص بنموذج BART بهدف التقاط الهياكل الجملية-الكلامية. وتبين نتائج التقييم على مجموعة بيانات CNN/Daily Mail أن النموذج Hie-BART المقترح يتفوّق على بعض النماذج القوية الأساسية، ويُحسّن أداء نموذج BART غير الهرمي (+0.23 في مقياس ROUGE-L).