HyperAIHyperAI

Command Palette

Search for a command to run...

تعزيز مقاومة النماذج اللغوية المدعومة بالاسترجاع تجاه السياق غير الضروري

Ori Yoran Tomer Wolfson Ori Ram Jonathan Berant

الملخص

تحظى النماذج اللغوية المدعومة بالاسترجاع (RALMs) بفرص واعدة في إنتاج أنظمة فهم لغويّة تكون دقيقة من حيث الحقائق، وكفؤة، وتحديثها مستمر. من المطلوبات الأساسية في نماذج RALMs أن يسهم المعلومات المسترجعة في تحسين أداء النموذج عند كونها ذات صلة، ولا تؤذي الأداء عند عدم صلتها. وهذا أمر بالغ الأهمية في السيناريوهات التي تتطلب استنتاجًا متعدد الخطوات (multi-hop reasoning)، حيث يمكن أن يؤدي استخدام أدلة غير ذات صلة إلى أخطاء متتالية. ومع ذلك، أظهرت أبحاث حديثة أن تدعيم الاسترجاع قد يُحدث أحيانًا تأثيرًا سلبيًا على الأداء. في هذه الدراسة، نقدم تحليلًا شاملاً على خمسة معايير مفتوحة المجال للإجابة على الأسئلة، ونُصَفُّ الحالات التي تقلّ فيها الدقة نتيجة الاسترجاع. ثم نقترح طريقتين للتخفيف من هذه المشكلة. أولًا، نقدم أساسًا بسيطًا يُزيل النصوص المسترجعة التي لا تُستنتج منها أزواج السؤال والإجابة وفقًا لنموذج استنتاج لغوي طبيعي (NLI). يُعد هذا الأسلوب فعّالاً في منع تدهور الأداء، لكنه يترتب عليه أيضًا التخلص من نصوص ذات صلة. لذلك، نقترح طريقة لتصنيع بيانات تلقائيًا لضبط النموذج اللغوي بحيث يستخدم بشكل مناسب النصوص المسترجعة، وذلك باستخدام مزيج من السياقات ذات الصلة وغير ذات الصلة أثناء التدريب. ونُظهر تجريبيًا أن حتى 1000 مثالًا كافٍ لتدريب النموذج ليكون مقاومًا للسياقات غير ذات الصلة، مع الحفاظ على أداء عالٍ في الأمثلة التي تشمل سياقات ذات صلة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp