نموذج موحد لتقديم الملخصات الاستخراجية والاختزالية باستخدام خسارة التناقض

نقترح نموذجًا موحدًا يجمع بين قوة النماذج الاستخراجية والاختزالية. من ناحية، يمكن للنموذج الاستخراجي البسيط الحصول على انتباه على مستوى الجملة بدرجات ROUGE عالية ولكن أقل قابلية للقراءة. ومن ناحية أخرى، يمكن للنموذج الاختزالي الأكثر تعقيدًا الحصول على انتباه ديناميكي على مستوى الكلمات لإنتاج فقرة أكثر قابلية للقراءة. في نموذجنا، يتم استخدام الانتباه على مستوى الجملة لتعديل الانتباه على مستوى الكلمات بحيث تكون الكلمات في الجمل التي تحظى باهتمام أقل أقل عرضة للتوليد. بالإضافة إلى ذلك، تم تقديم دالة خسارة جديدة تهدف إلى معاقبة عدم التناسق بين مستويي الانتباه. من خلال التدريب الشامل لنموذجنا باستخدام دالة الخسارة غير المتناسقة وخسائر الأصلية للنماذج الاستخراجية والاختزالية، حققنا درجات ROUGE رائدة في مجالها بينما كان النموذج الأكثر إفادة وقابلية للقراءة في تلخيص بيانات CNN/Daily Mail بناءً على تقييم بشري متين.