تلخيص النص باستخدام المُشفِّرات المدربة مسبقًا

تمثل تمثيلات المُشفِّر ثنائية الاتجاه من نماذج التحويل (BERT) أحدث تجسيد للنماذج اللغوية المدربة مسبقًا، والتي ساهمت مؤخرًا في تقدم مجموعة واسعة من مهام معالجة اللغة الطبيعية. في هذا البحث، نعرض كيفية تطبيق BERT بشكل مفيد في تلخيص النصوص ونقترح إطارًا عامًا لكل من النماذج الاستخراجية والتجريدية. نقدم مُشفِّر مستند جديد يعتمد على BERT قادر على التعبير عن دلالات المستند والحصول على تمثيلات لجمله. يتم بناء نموذجنا الاستخراجي فوق هذا المُشفِّر بإضافة عدة طبقات تحويلية بين الجمل. بالنسبة لتلخيص النصوص التجريدي، نقترح جدول تعديل جديد يعتمد على استخدام مُحسِّمات مختلفة للمُشفِّر والمفكك كوسيلة لتخفيف عدم التطابق بينهما (حيث يتم تدريب الأول مسبقًا بينما لا يتم تدريب الثاني). كما نوضح أن اتباع طريقة تعديل ذات مرحلتين يمكن أن يعزز جودة الملخصات المولدة بشكل أكبر. أظهرت التجارب على ثلاثة قواعد بيانات أن نموذجنا حقق أفضل النتائج في كلتا الحالتين الاستخراجية والتجريدية. رمز البرمجيات الخاص بنا متاح على الرابط: https://github.com/nlpyang/PreSumm