الانتشار الكثيف للانتباه لفهم القراءة

نقترح DecaProp (الهياكل العصبية المتصلة كثيفًا للانتشار الانتباهي)، وهي هندسة عصبية جديدة متصلة كثيفًا لفهم القراءة (RC). تتميز نموذجنا بخصائص فريدةتين. أولاً، يربط نموذجنا جميع طبقات الشبكة بشكل كثيف، مما يتيح نمذجة العلاقات بين النص والسؤال على جميع المستويات التراتبية. ثانياً، يتم تعلم الاتصالات الكثيفة في شبكتنا من خلال الانتباه بدلاً من المتصفحين البواقي القياسيين. لهذا الغرض، نقترح متصفحين انتباهيين ثنائيي الاتجاه (BAC) لتكوين اتصالات بكفاءة عبر الشبكة بأكملها. نجري تجارب واسعة النطاق على أربع مقاييس صعبة لفهم القراءة. يحقق نهجنا المقترح أفضل النتائج الحالية على جميع الأربع، حيث يتفوق على خطوط الأساس القائمة بمقدار يصل إلى 2.6٪-14.2٪ في درجة F1 المطلقة.