شبكات عصبية انتباهية فوق انتباهية لفهم القراءة

الأسئلة من نوع "كوز" هي مشاكل تمثيلية في فهم القراءة. خلال الأشهر القليلة الماضية، شهدنا تقدماً كبيراً في استخدام نهج الشبكات العصبية لحل أسئلة من نوع "كوز". في هذا البحث، نقدم نموذجاً جديداً يُسمى قارئ الانتباه فوق الانتباه (attention-over-attention reader) للمهمة الخاصة بفهم القراءة من نوع "كوز". يهدف نموذجنا إلى وضع آلية انتباه إضافية فوق انتباه المستند، مما يؤدي إلى "انتباه مُركز" للتنبؤات النهائية. على عكس الأعمال السابقة، يتطلب نموذج شبكتنا العصبية عددًا أقل من المعلمات الأولية المحددة مسبقًا ويستخدم هندسة أنيقة للنمذجة. تظهر النتائج التجريبية أن النموذج المقترح للانتباه فوق الانتباه يتفوق بشكل كبير على أنظمة مختلفة متقدمة للغاية بمعدل كبير في مجموعات البيانات العامة، مثل مجموعة بيانات CNN ومجموعة بيانات اختبار كتب الأطفال.