تقنية استخلاص نص موجزة استنتاجية تستخدم نموذج الترانسפורمر مع آلية الانتباه الذاتي

إنشاء نسخة مختصرة من مستند نصي تُحافظ على المعنى الدقيق يعد مهمة بالغة التعقيد في معالجة اللغة الطبيعية (NLP). تُعد ملخصة النص المجرد (ATS) عملية تستخدم الحقائق من الجمل المصدرية وتدمجها في تمثيلات موجزة مع الحفاظ على محتوى النص ونواياه. يُعد تلخيص كميات كبيرة من النصوص يدويًا تحديًا كبيرًا وطويل الأمد بالنسبة للبشر. ولهذا السبب، أصبح تلخيص النصوص أحد محاور البحث المثيرة في مجال معالجة اللغة الطبيعية. قدمت هذه الورقة البحثية نموذجًا لملخصة النص المجرد باستخدام تقنية المُحَوِّل (Transformer) مع آلية الانتباه الذاتي (T2SAM). تم إدخال آلية الانتباه الذاتي إلى المُحَوِّل لحل مشكلة التماثل النحوي (Coreference) في النصوص، مما يُحسّن من قدرة النظام على فهم النص. وتبين أن النموذج المقترح T2SAM يُحسّن أداء تلخيص النصوص. وقد تم تدريب النموذج على مجموعة بيانات أخبار Inshorts المدمجة مع مجموعة بيانات مشاريع DUC-2004. وتم تقييم أداء النموذج المقترح باستخدام مقاييس ROUGE، وقد أظهر تفوقه على النماذج الأساسية المتطورة حاليًا. كما حقق النموذج المقترح انخفاضًا في خسارة التدريب من 10.3058 (القيمة الابتدائية) إلى 1.8220 بعد 30 دورة تدريب، وبلغت دقة النموذج 48.50% من خلال معامل F1 على كل من بيانات الأخبار الخاصة بـ Inshorts وبيانات DUC-2004.