HyperAIHyperAI

Command Palette

Search for a command to run...

تقنية استخلاص نص موجزة استنتاجية تستخدم نموذج الترانسפורمر مع آلية الانتباه الذاتي

Arun Solanki Sandeep Kumar

الملخص

إنشاء نسخة مختصرة من مستند نصي تُحافظ على المعنى الدقيق يعد مهمة بالغة التعقيد في معالجة اللغة الطبيعية (NLP). تُعد ملخصة النص المجرد (ATS) عملية تستخدم الحقائق من الجمل المصدرية وتدمجها في تمثيلات موجزة مع الحفاظ على محتوى النص ونواياه. يُعد تلخيص كميات كبيرة من النصوص يدويًا تحديًا كبيرًا وطويل الأمد بالنسبة للبشر. ولهذا السبب، أصبح تلخيص النصوص أحد محاور البحث المثيرة في مجال معالجة اللغة الطبيعية. قدمت هذه الورقة البحثية نموذجًا لملخصة النص المجرد باستخدام تقنية المُحَوِّل (Transformer) مع آلية الانتباه الذاتي (T2SAM). تم إدخال آلية الانتباه الذاتي إلى المُحَوِّل لحل مشكلة التماثل النحوي (Coreference) في النصوص، مما يُحسّن من قدرة النظام على فهم النص. وتبين أن النموذج المقترح T2SAM يُحسّن أداء تلخيص النصوص. وقد تم تدريب النموذج على مجموعة بيانات أخبار Inshorts المدمجة مع مجموعة بيانات مشاريع DUC-2004. وتم تقييم أداء النموذج المقترح باستخدام مقاييس ROUGE، وقد أظهر تفوقه على النماذج الأساسية المتطورة حاليًا. كما حقق النموذج المقترح انخفاضًا في خسارة التدريب من 10.3058 (القيمة الابتدائية) إلى 1.8220 بعد 30 دورة تدريب، وبلغت دقة النموذج 48.50% من خلال معامل F1 على كل من بيانات الأخبار الخاصة بـ Inshorts وبيانات DUC-2004.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp