التدريب بدون الكتاب لتحسين ذاكرة ملخص المُشفِّر

يجب أن يكون لنموذج تلخيص جيد للسلاسل العصبية مُشفِّر قوي قادر على استخلاص وتذكر المعلومات الهامة من النصوص الإدخال الطويلة بحيث يمكن للمُفكِّك إنشاء ملخصات بارزة بناءً على ذاكرة المُشفِّر. في هذا البحث، نهدف إلى تحسين قدرات الذاكرة للمُشفِّر في نموذج الجَنَّاح المُشِير بإضافة مُفكِّك إضافي "مغلق الكتاب" بدون آليات الانتباه والتشوير. يجبر هذا المُفكِّك الإضافي المُشفِّر على أن يكون أكثر اختيارية في المعلومات المشفرة في حالته الذاكرية لأن المُفكِّك لا يمكنه الاعتماد على المعلومات الإضافية التي توفرها آليات الانتباه وربما الوحدات النسخية، مما يحسن النموذج بأكمله. على مجموعة بيانات CNN/دايلي ميل، أظهر نموذجنا ذو المُفكِّكيْن الأداء بشكل كبير أفضل من النموذج الأساسي بحسب مقاييس ROUGE وMETEOR، لكل من التكوينات المعتمدة على التوزيع العرضي والتقوية (وبالنسبة لتقييم البشر). علاوة على ذلك، حقق نموذجنا درجات أعلى أيضًا في تكوين قابلية التعميم لاختبار DUC-2002 فقط. نقدم أيضًا اختبارًا لقدرة الذاكرة، ومقياسين للبروز، بالإضافة إلى عدة عمليات تقليم فحص صحة (بناءً على مُشفِّر ثابت، وقطع تدفق التدرج، وسعة النموذج) لإثبات أن مُشفِّر نموذجنا ذو المُفكِّكيْن يتعلم بالفعل تمثيلات ذاكرة أقوى من مُشفِّر النموذج الأساسي.