غريتيل: نموذج لغوي مُحسَّن بالمواضيع المُتَناوِلة للرسم البياني للتوافقيات لاستخلاص ملخصات من المستندات الطويلة

في الآونة الأخيرة، تم دمج نماذج المواضيع العصبية (NTMs) في نماذج اللغات المُدرَّبة مسبقًا (PLMs) لاستخلاص المعلومات الدلالية الشاملة لغرض تلخيص النصوص. ومع ذلك، تظل هذه الأساليب تعاني من قيود في طريقة استخلاصها ودمجها للمعلومات الدلالية الشاملة. في هذا البحث، نقترح نموذجًا جديدًا يُدعى نموذج اللغة المعزز المواضيعي بالمقارنة الرسومية (GRETEL)، الذي يدمج نموذج المواضيع بالمقارنة الرسومية مع نموذج اللغة المُدرَّب مسبقًا، بهدف الاستفادة الكاملة من السياقات المحلية والشاملة في تلخيص المستندات الطويلة باستخلاص الجمل. ولتحسين استخلاص المعلومات الدلالية الشاملة ودمجها في نماذج اللغة المُدرَّبة مسبقًا، يدمج نموذج المواضيع بالمقارنة الرسومية مُشفِّر الترانسفورمر الهرمي مع التعلم بالمقارنة الرسومية، بهدف دمج المعلومات الدلالية من السياق الشامل للمستند والملخص الأصلي (gold summary). وبهذا، يشجع GRETEL النموذج على استخلاص الجمل البارزة المرتبطة موضوعيًا بالملخص الأصلي، بدلًا من الجمل المتكررة التي تغطي موضوعات غير مثالية. أظهرت النتائج التجريبية على مجموعتي بيانات عامة وطبية أن الطريقة المقترحة تفوق الطرق المتطورة (SOTA) في الأداء.