DUMA: فهم القراءة مع التفكير بالتبديل

يتطلب فهم القراءة الآلي متعدد الخيارات (MRC) من النموذج اتخاذ قرار بالجواب الصحيح من مجموعة من الخيارات المتاحة عند إعطاء نص وسؤال. وبالتالي، بالإضافة إلى نموذج اللغة المُدرَّب مسبقًا (PrLM) القوي كمحرّك، يعتمد فهم القراءة الآلي متعدد الخيارات بشكل خاص على تصميم شبكة مطابقة مناسبة، والتي يجب أن تكون قادرة على التقاط العلاقات بشكل فعّال بين الرباعية المكوّنة من النص والسؤال والخيارات. وعلى الرغم من أن النماذج الحديثة والأقوى من نماذج اللغة المُدرَّب مسبقًا أظهرت قوتها حتى دون الحاجة إلى شبكة مطابقة، نقترح نموذجًا جديدًا يُسمى DUMA (الانتباه الثنائي متعدد الرؤوس)، المستوحى من عملية التفكير التبادلي لدى البشر في حل مسائل فهم القراءة الآلي متعددة الخيارات: حيث يتم النظر في تركيز كل من النص والسؤال على بعضهما البعض من منظور متبادل. وقد أظهر النموذج المقترح فعاليته، وتمكّنه من تعزيز أداء نماذج اللغة المُدرَّب مسبقًا بشكل عام. وقد تم اختبار طريقة الاقتراح على مهام معيارية لفهم القراءة الآلي متعددة الخيارات، وهي DREAM وRACE، حيث أظهرت النتائج أن النموذج يمكنه، حتى مع استخدام نماذج لغة مُدرَّب مسبقًا قوية، تعزيز الأداء ليصل إلى أداء جديد على مستوى الحد الأقصى (state-of-the-art).