نماذج الانتباه من الخشنة إلى الدقيقة للتلخيص المستند إلى المستندات

أثبتت نماذج التسلسل إلى التسلسل ذات الانتباه نجاحًا في مجموعة متنوعة من مسائل معالجة اللغة الطبيعية، لكن سرعتها لا تتوسع بشكل جيد في المهام التي تتضمن تسلسلاً مصدرًا طويلًا، مثل تلخيص المستندات. نقترح نموذج انتباه جديد من النوع التفصيلي-الشامل، والذي يقرأ المستند بشكل هرمي، باستخدام انتباه خشن لاختيار الحزم العليا من النص، وانتباه دقيق لقراءة الكلمات داخل الحزم المختارة. في حين أن حسابات تدريب نماذج الانتباه القياسية تتناسب خطيًا مع طول التسلسل المصدر، فإن طريقة نحن نقترحها تتناسب مع عدد الحزم العليا، ويمكنها التعامل مع تسلسلات أطول بكثير. من الناحية التجريبية، وجدنا أن نماذج الانتباه من النوع التفصيلي-الشامل تتأخر قليلاً عن النماذج القياسية المتطورة، لكن طريقتنا تحقق السلوك المطلوب المتمثل في الانتباه بشكل متباعد إلى مجموعات فرعية من المستند أثناء التوليد.