تعلم النسخ من تاريخ النسخ: شبكة نسخ ارتباطية للاستخلاص التلخيصي

آليّة النسخ حققت نجاحًا كبيرًا في تلخيص النصوص الاستنتاجية، حيث سهّلت على النماذج نسخ الكلمات مباشرة من النص المدخل إلى الملخص الناتج. تعتمد الأعمال الحالية بشكل رئيسي على الانتباه بين المشفر (encoder) والفكّر (decoder)، والذي يطبّق عملية النسخ في كل خطوة زمنية بشكل مستقل عن الخطوات السابقة. ومع ذلك، قد تؤدي هذه الطريقة أحيانًا إلى نسخ غير كامل. في هذا البحث، نقترح.scheme نموذجًا جديدًا للنسخ يُسمّى شبكة النسخ الترابطية (CoCoNet)، التي تُحسّن الآلية القياسية للنسخ من خلال تتبع تاريخ النسخ. وبذلك، تستفيد من التوزيعات السابقة للنسخ، وتشجع صراحةً النموذج في كل خطوة زمنية على نسخ الكلمة في النص المدخل المرتبطة بالكلمة التي تم نسخها سابقًا. علاوةً على ذلك، نعزّز أداء CoCoNet من خلال التدريب المسبق على مجموعات نصية مناسبة تُحاكي سلوك النسخ. أظهرت النتائج التجريبية أن CoCoNet يمكنها النسخ بدقة أكبر، وتحقيق أداءً جديدًا على مستوى الحد الأقصى في معايير التلخيص، بما في ذلك مجموعة بيانات CNN/DailyMail لتلخيص الأخبار، ومجموعة بيانات SAMSum لتلخيص المحادثات. وسيتم إتاحة الكود والملفات النهائية (checkpoints) للجمهور بشكل مفتوح.