الأسئلة البسيطة المركزية حول الكيانات تُشكِّل تحدّياً لمحرّكات الاسترجاع الكثيف

أصبحت مهام الإجابة على الأسئلة في المجال المفتوح شائعة بشكل كبير مؤخرًا بفضل نجاح نماذج الاسترجاع الكثيف، التي تفوقت على النماذج النادرة باستخدام عدد قليل جدًا من الأمثلة التدريبية المُعلَّمة. ومع ذلك، في هذه الورقة، نُظهر أن النماذج الكثيفة الحالية ليست بعد الحل المثالي لمشكلة الاسترجاع. نبدأ ببناء مجموعة بيانات تُسمى EntityQuestions، تتكون من أسئلة بسيطة غنية بالكائنات (Entities) مستمدة من حقائق في ويكي بيانات (مثل: "أين وُلد آرفي فورسيت؟")، ونلاحظ أن نماذج الاسترجاع الكثيف تُظهر أداءً ضعيفًا جدًا مقارنةً بالطرق النادرة. ونقوم بتحليل هذه المشكلة ونكتشف أن نماذج الاسترجاع الكثيف قادرة فقط على التعميم على الكائنات الشائعة، ما لم تُلاحظ نمط السؤال بشكل صريح أثناء التدريب. ونناقش حلين بسيطين لمعالجة هذه المشكلة الحرجة. أولاً، نُظهر أن تكبير البيانات (Data Augmentation) لا يمكنه إصلاح مشكلة التعميم. ثانيًا، نُجادل بأن استخدام مشفر نصوص أكثر قوة يمكن أن يساعد في تحسين تكييف السؤال من خلال استخدام مشفرات مخصصة للأسئلة. نأمل أن تُسهم أبحاثنا في توضيح التحديات المرتبطة بإنشاء نموذج استرجاع كثيف موثوق وشامل، يعمل بكفاءة عبر توزيعات مدخلات مختلفة.