التدريب الذاتي التعاوني لفهم القراءة الآلية

لقد ساهمت النماذج اللغوية المُدرَّبة مسبقًا في تحسين أداء المهام اللاحقة لفهم اللغة، بما في ذلك الإجابة على الأسئلة المستخلصة، من خلال توفير تمثيلات كلمات مُحتَفَظة بالسياق عالية الجودة. ومع ذلك، لا يزال تدريب نماذج الإجابة على الأسئلة يتطلب كميات كبيرة من البيانات المُعلَّمة الخاصة بمنطقيات محددة. في هذا العمل، نقترح إطارًا تدريبيًا تعاونيًا ذاتيًا، يُسمَّى RGX، لاستخلاص أزواج أسئلة وإجابات غير بسيطة تلقائيًا بهدف تحسين أداء النموذج. يُبنى RGX على مهمة استخراج الإجابة المُقنَّعة، في بيئة تعلم تفاعلية تضم معالجًا لتحديد الكيانات الإجابة، ومحرِّكًا لصياغة الأسئلة، واستخراجًا للإجابة. عند إعطاء نص يحتوي على كيان مُقنَّع، يقوم المُحرِّك بتكوين سؤال حول ذلك الكيان، بينما يُدرَّب الاستخراج على استخراج الكيان المقنَّع باستخدام السؤال المُنشأ والنصوص الأصلية. يتيح هذا الإطار تدريب نماذج صياغة الأسئلة والإجابة على أي مجموعات نصية دون الحاجة إلى علامات توضيحية. تُظهر نتائج التجارب أن RGX يتفوّق على أحدث النماذج المُدرَّبة مسبقًا وأساليب التعلم المن転 (SOTA) في معايير الإجابة على الأسئلة القياسية، ويحقق أداءً جديدًا يُعدّ الأفضل (SOTA) ضمن الحدود المحددة لحجم النموذج وبيئة التعلم المن転.