DyREx: تمثيل الاستعلام الديناميكي للإجابة المستخلصة من الأسئلة

الإجابة المستخلصة على أسئلة (ExQA) هي مهمة أساسية في معالجة اللغة الطبيعية. يُعد النهج السائد في ExQA هو تمثيل عناصر التسلسل المدخلة (السؤال والنص) باستخدام محول مُدرّب مسبقًا، ثم استخدام متجهين مُتعلمين للسؤال لحساب توزيعات على موضع البداية والنهاية لفترة الإجابة. تعاني هذه المتجهات المُتعلمة للسؤال من عدم احتوائها على سياق المدخلات، مما قد يشكل عائقًا أمام أداء النموذج. ولحل هذه المشكلة، نقترح \textit{DyREx}، وهي تعميم للنهج التقليدي، حيث نحسب متجهات الاستعلام بشكل ديناميكي بناءً على المدخلات، باستخدام آلية انتباه من خلال طبقات المحول. تُظهر الملاحظات التجريبية أن نهجنا يُحسّن باستمرار الأداء مقارنة بالنهج القياسي. يمكن الوصول إلى الكود والملفات المرافقة لتشغيل التجارب من خلال الرابط التالي: \url{https://github.com/urchade/DyReX}.