منذ 2 أشهر
قارئ متأمل: الاستدلال باستخدام الانتباه متعدد الخطوات المُحكَم
Yichen Gong; Samuel R. Bowman

الملخص
لإجابة على السؤال في مهمة الفهم الآلي (MC)، يجب على النماذج إنشاء التفاعل بين السؤال والسياق. لحل المشكلة التي لا يمكن للنموذج ذو العبور الواحد أن يراجع وينقي إجابته، نقدم قارئ التأمل (Ruminating Reader). يضيف قارئ التأمل مرورًا ثانيًا بالانتباه ومكون دمج معلومات جديد إلى نموذج تدفق الانتباه الثنائي الاتجاه (BiDAF). نقترح هياكل طبقات جديدة تبني تمثيل متجه سياقي واعٍ بالاستفسار وتدمج تمثيل الترميز مع التمثيل الوسيط فوق نموذج BiDAF. نظهر أن آليات الانتباه متعددة الخطوات يمكن تطبيقها على هيكل انتباه ثنائي الاتجاه. في التجارب على مجموعة بيانات SQuAD، نجد أن القارئ يتفوق بشكل كبير على الأساس المرجعي BiDAF، ويتوافق أو يتخطى أداء جميع الأنظمة المنشورة الأخرى.