نمذجة السياق الواسع للغة كفهمن القراءة

قد تحققت التقدم في فهم النصوص بفضل مجموعات بيانات كبيرة تختبر قدرات معينة، مثل المجموعات الحديثة لاختبار الفهم من القراءة (Hermann وآخرون، 2015). نركز هنا على مجموعة بيانات LAMBADA (Paperno وآخرون، 2016)، وهي مهمة تنبؤ الكلمات تتطلب سياقًا أوسع من الجملة الحالية. نعتبر مجموعة بيانات LAMBADA كمشكلة فهم القراءة ونطبق نماذج الفهم المستندة إلى الشبكات العصبية. رغم أن هذه النماذج مقيدة باختيار كلمة من السياق، إلا أنها تحسن الأداء الحالي على LAMBADA من 7.3% إلى 49%. قمنا بتحليل 100 حالة، حيث وجدنا أن القراء المستندين إلى الشبكات العصبية يحققون أداءً جيدًا في الحالات التي تتضمن اختيار اسم من السياق بناءً على إشارات الحوار أو الخطاب، ولكنهم يعانون عندما يكون حل الإشارة المرجعية أو المعرفة الخارجية ضروريًا.