شبكة انتباه متعددة العوامل مركزة على السؤال لتقديم الإجابة

النماذج الشبكية العصبية (الشبكات العصبية) التي تم اقتراحها مؤخرًا للإجابة على الأسئلة (QA) تركز بشكل أساسي على التقاط العلاقة بين النص والسؤال. ومع ذلك، فإن قدرتها على ربط الحقائق ذات الصلة الموزعة عبر جمل متعددة ضئيلة للغاية، وهي مسألة حاسمة لتحقيق فهم أعمق، مثل إجراء الاستدلال بين الجمل المتعددة وحل الإشارة المرجعية المشتركة وما إلى ذلك. كما أنها لا تركز بوضوح على نوع السؤال والإجابة، والذي غالبًا ما يلعب دورًا حاسمًا في الإجابة على الأسئلة. في هذا البحث، نقترح شبكة انتباه متعددة العوامل موجهة للأسئلة من النهاية إلى النهاية لاستخراج الإجابات. يستخدم الترميز الانتباهي متعدد العوامل مع تحويل مبني على المتجهات (tensor-based transformation) لتجميع الحقائق ذات المعنى حتى عندما تكون موجودة في جمل متعددة. لاستنتاج نوع الإجابة ضمنيًا، نقترح أيضًا آلية تجميع سؤال بأقصى درجة من الانتباه لترميز متجه السؤال بناءً على الكلمات الهامة فيه. أثناء التنبؤ، ندمج ترميز مستوى التسلسل لكلمة الوصل الأولى (wh-word) وكلمة الوصلة التي تأتي مباشرة بعدها كمصدر إضافي لمعلومات نوع السؤال. حققت نموذجنا المقترح تحسينات كبيرة على أفضل النتائج السابقة الرائدة في ثلاثة مجموعات بيانات صعبة ومقياسية كبيرة للإجابة على الأسئلة، وهي NewsQA وTriviaQA وSearchQA.