تحسين فهم الآلة للقراءة باستخدام استراتيجيات القراءة العامة

لقد أظهرت استراتيجيات القراءة أنها تحسن مستويات الفهم، خاصة بالنسبة للقراء الذين يفتقرون إلى المعرفة السابقة الكافية. كما أن عملية تراكم المعرفة تستغرق وقتًا طويلًا للقراء البشريين، فإن إضافة معرفة عامة غنية في مجالات مختلفة إلى نموذج لغوي عميق عبر التدريب المسبق تتطلب موارد كبيرة. مستوحاة من استراتيجيات القراءة التي تم تحديدها في العلوم الإدراكية، ومع وجود موارد حاسوبية محدودة -- مجرد نموذج مدرب مسبقًا وعدد ثابت من حالات التدريب -- نقترح ثلاث استراتيجيات عامة تهدف إلى تحسين فهم القراءة الآلي غير الاستخراجي (MRC): (i) قراءة ذهابًا وإيابًا (BACK AND FORTH READING) التي تأخذ بعين الاعتبار كلًّا من الترتيب الأصلي والعكسي لسلسلة المدخلات، (ii) التمييز (HIGHLIGHTING)، الذي يضيف تمثيلًا قابلًا للتدريب إلى تمثيل النص للرموز ذات الصلة بالسؤال والإجابات المرشحة، و(iii) التقييم الذاتي (SELF-ASSESSMENT)، الذي يولد أسئلة تدريبية وإجابات مرشحة مباشرة من النص بطريقة غير مشروفة.من خلال ضبط نموذج لغوي مدرب مسبقًا (Radford et al., 2018) باستخدام استراتيجياتنا المقترحة على أكبر مجموعة بيانات متعددة الخيارات في مجال فهم القراءة الآلي العام RACE، حققنا زيادة مطلقة بنسبة 5.8% في الدقة مقارنة بأفضل نتيجة سابقة حققها نفس النموذج المدرب المسبق على RACE دون استخدام هذه الاستراتيجيات. ثم قمنا بضبط النموذج الناتج على مهمة فهم القراءة الآلي المستهدفة، مما أدى إلى زيادة مطلقة بمتوسط دقة بنسبة 6.2% مقارنة بالأساليب الرائدة سابقًا على ستة مجموعات بيانات تمثلية غير استخراجية لمهمات فهم القراءة الآلي من مجالات مختلفة (أي ARC و OpenBookQA و MCTest و SemEval-2018 Task 11 و ROCStories و MultiRC). تُظهر هذه النتائج فعالية استراتيجياتنا المقترحة ومرونة وتعدد استخدامات نماذجنا المعاد ضبطها التي تدمج هذه الاستراتيجيات. يمكن الوصول إلى الشفرة الأساسية عبر الرابط: https://github.com/nlpdata/strategy/.