تعزيز مقاومة النماذج اللغوية المدعومة بالاسترجاع تجاه السياق غير الضروري

تحظى النماذج اللغوية المدعومة بالاسترجاع (RALMs) بفرص واعدة في إنتاج أنظمة فهم لغويّة تكون دقيقة من حيث الحقائق، وكفؤة، وتحديثها مستمر. من المطلوبات الأساسية في نماذج RALMs أن يسهم المعلومات المسترجعة في تحسين أداء النموذج عند كونها ذات صلة، ولا تؤذي الأداء عند عدم صلتها. وهذا أمر بالغ الأهمية في السيناريوهات التي تتطلب استنتاجًا متعدد الخطوات (multi-hop reasoning)، حيث يمكن أن يؤدي استخدام أدلة غير ذات صلة إلى أخطاء متتالية. ومع ذلك، أظهرت أبحاث حديثة أن تدعيم الاسترجاع قد يُحدث أحيانًا تأثيرًا سلبيًا على الأداء. في هذه الدراسة، نقدم تحليلًا شاملاً على خمسة معايير مفتوحة المجال للإجابة على الأسئلة، ونُصَفُّ الحالات التي تقلّ فيها الدقة نتيجة الاسترجاع. ثم نقترح طريقتين للتخفيف من هذه المشكلة. أولًا، نقدم أساسًا بسيطًا يُزيل النصوص المسترجعة التي لا تُستنتج منها أزواج السؤال والإجابة وفقًا لنموذج استنتاج لغوي طبيعي (NLI). يُعد هذا الأسلوب فعّالاً في منع تدهور الأداء، لكنه يترتب عليه أيضًا التخلص من نصوص ذات صلة. لذلك، نقترح طريقة لتصنيع بيانات تلقائيًا لضبط النموذج اللغوي بحيث يستخدم بشكل مناسب النصوص المسترجعة، وذلك باستخدام مزيج من السياقات ذات الصلة وغير ذات الصلة أثناء التدريب. ونُظهر تجريبيًا أن حتى 1000 مثالًا كافٍ لتدريب النموذج ليكون مقاومًا للسياقات غير ذات الصلة، مع الحفاظ على أداء عالٍ في الأمثلة التي تشمل سياقات ذات صلة.