على الاستخلاص والتوثيق العصبي لملخصات المستندات باستخدام نماذج لغة المحول

نقدّم طريقة لإنتاج ملخصات استخلاصية (Abstractive) للوثائق الطويلة التي تتجاوز عدة آلاف من الكلمات باستخدام تلخيص استخلاصي عصبي. نُنفّذ خطوة استخلاصية بسيطة قبل إنشاء الملخص، والتي تُستخدم بعدها لتوجيه نموذج لغة المُحَوِّل (Transformer Language Model) بالمعلومات ذات الصلة قبل تكليفه بإنشاء الملخص. نُظهِر أن هذه الخطوة الاستخلاصية تُحسّن بشكل ملحوظ نتائج التلخيص. كما نُبيّن أن هذا النهج يُنتج ملخصات أكثر استخلاصية مقارنة بالعمل السابق الذي يستخدم آلية نسخ (Copy Mechanism)، مع الحفاظ على تحقيق نقاط أعلى في معيار ROUGE. ملاحظة: لم يُكتب الملخص أعلاه من قبل المؤلفين، بل تم إنشاؤه بواسطة أحد النماذج المقدمة في هذه الورقة.