نموذج الانتباه المُحَرَّك بالتنوع لتقديم الملخصات الاستخراجية القائمة على الاستفسار

الملخص الاستخراجي يهدف إلى إنتاج نسخة أقصر من الوثيقة تغطي جميع النقاط البارزة بطريقة مكثفة ومتماسكة. من ناحية أخرى، يركز الملخص القائم على الاستفسار على النقاط ذات الصلة في سياق استفسار معين. حققت نموذج الترميز-الانتباه-التفكيش (encode-attend-decode) نجاحًا لافتًا في مجالات مثل الترجمة الآلية، والملخص الاستخراجي، وأنظمة الحوار، وغيرها. ومع ذلك، فإنها تعاني من عيب توليد عبارات متكررة. في هذا العمل، نقترح نموذجًا للملخص القائم على الاستفسار يستند إلى نموذج الترميز-الانتباه-التفكيش مع إضافة عنصرين رئيسيين: (أ) نموذج انتباه الاستفسار (بالإضافة إلى نموذج انتباه الوثيقة)، والذي يتعلم التركيز على أجزاء مختلفة من الاستفسار في خطوات زمنية مختلفة (بدلاً من استخدام تمثيل ثابت للاستفسار)، و(ب) نموذج انتباه جديد يستند إلى التنوع ويهدف إلى تخفيف مشكلة تكرار العبارات في الملخص. لتمكين اختبار هذا النموذج، قمنا بتقديم مجموعة بيانات جديدة للملخص القائم على الاستفسار مستندة إلى DebatePedia. أظهرت تجاربنا أن هذه الإضافتين تجعل النموذج المقترح يتفوق بشكل واضح على النماذج التقليدية لنمط الترميز-الانتباه-التفكيش بمكسب بنسبة 28% (مطلق) في درجات ROUGE-L.