توليد ملخص متعدد المستندات باستخدام انتباه عملية نقطة محددة

القدرة على نقل معلومات ذات صلة ومتنوعة تعد أمرًا بالغ الأهمية في تلخيص الوثائق المتعددة، ومع ذلك تظل هذه القدرة بعيدة المنال بالنسبة للنماذج العصبية من نوع seq-to-seq، التي تُنتج غالبًا مخرجات متكررة ولا تغطي بشكل صحيح التفاصيل المهمة. في هذه الدراسة، نقترح آلية انتباه تُشجع على التركيز الأكبر على العناصر ذات الصلة والتنوع. يتم حساب أوزان الانتباه بناءً على (الاحتمالات النسبية) التي توفرها عمليات نقاط المحدد (DPPs) المعرفة على مجموعة الوحدات المحتوى التي يتم تلخيصها. وقد تم استخدام DPPs بنجاح في تلخيص الاستخلاص، وهنا نستخدمها لاختيار محتوى ذي صلة ومتنوع لصالح تلخيص النماذج العصبية التوليدية. وتم دمج آلية الانتباه القائمة على DPP مع مختلف هياكل seq-to-seq، بدءًا من الشبكات العصبية التلافيفية (CNNs) ووصولًا إلى LSTMs ونماذج Transformers. وأظهرت النتائج التجريبية أن آلية الانتباه المقترحة تُحسّن باستمرار أداء التلخيص، وتحقق أداءً مماثلاً لأفضل النماذج الحالية على مجموعة بيانات MultiNews.