MAFiD: دمج مدعوم بمتوسط متحرك في فك التشفير للإجابة على الأسئلة على البيانات الجدولية والنصية

النماذج القائمة على Transformer للإجابة على الأسئلة (QA) على الجداول والنصوص تواجه تسلسلاً طويلاً مختلطاً يتضمن عناصر جدولية ونصية، مما يؤدي إلى مشكلات في الاستدلال على مسافات طويلة. ولمعالجة الاستدلال على مسافات طويلة، نستخدم على نطاق واسع معملي دمج في فك التشفير (FiD) والمسار المتوسط الأسي (EMA)، ونُقدِّم نموذجًا يُسمى {underline{M}oving {underline{A}verage Equipped {underline{F}usion-{underline{i}n-{underline{D}ecoder ({textbf{MAFiD}). وباستخدام FiD كهيكل أساسي، يدمج MAFiD مستويات مختلفة من الاستدلال: {textit{الترميز المستقل} للبيانات المتجانسة، و{textit{الاستدلال على صف واحد}، و{textit{الاستدلال على عدة صفوف} غير المتجانسة، باستخدام طبقة انتباه متقاطع مُنظَّمة (gated cross attention layer) لجمع تمثيلات الثلاثة أنواع الناتجة عن أنواع الاستدلال المختلفة بشكل فعّال. وأظهرت النتائج التجريبية على مجموعة بيانات HybridQA أن MAFiD تحقق أداءً من الدرجة الأولى من حيث الأداء، حيث زادت من مؤشر التطابق الدقيق (EM) ومؤشر F1 بنسبة 1.1 و1.7 على التوالي في مجموعة الاختبار العمياء.