HyperAIHyperAI

Command Palette

Search for a command to run...

REPLUG: نماذج اللغة السوداء المُعزَّزة بالاسترجاع

Weijia Shi; Sewon Min; Michihiro Yasunaga; Minjoon Seo; Rich James; Mike Lewis; Luke Zettlemoyer; Wen-tau Yih

الملخص

نقدم إطار العمل REPLUG، وهو إطار تعزيز النماذج اللغوية بالاسترجاع يتعامل مع النموذج اللغوي (LM) كصندوق أسود ويضيف إليه نموذج استرجاع قابل للضبط. على عكس النماذج اللغوية المُعززة بالاسترجاع السابقة التي تدرب النماذج اللغوية باستخدام آليات انتباه متقاطع خاصة لترميز النص المسترجع، يقوم REPLUG ببساطة بإضافة الوثائق المسترجعة إلى بداية المدخلات للنموذج اللغوي الصندوق الأسود الثابت. يمكن تطبيق هذا التصميم البسيط بسهولة على أي نماذج استرجاع ولغوية موجودة. بالإضافة إلى ذلك، نوضح أن يمكن استخدام النموذج اللغوي لإشراف النموذج الاسترجاعي، الذي يمكنه بعد ذلك العثور على الوثائق التي تساعد النموذج اللغوي في صنع توقعات أفضل. تظهر تجاربنا أن REPLUG مع الاسترجاع القابل للضبط يحسن بشكل كبير أداء GPT-3 (175B) في النمذجة اللغوية بنسبة 6.3٪، وكذلك أداء Codex في اختبار MMLU الخمسي بنسبة 5.1٪.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
REPLUG: نماذج اللغة السوداء المُعزَّزة بالاسترجاع | مستندات | HyperAI