HyperAIHyperAI

Command Palette

Search for a command to run...

RA-DIT: التحسين بالتعليم المزدوج المعزز بالاسترجاع

الملخص

تحسّن النماذج اللغوية المعززة باسترجاع (RALMs) الأداء من خلال الوصول إلى معرفة طويلة الذيل وحديثة من مخازن بيانات خارجية، لكن بناءها يُعدّ تحديًا كبيرًا. تتطلب الطرق الحالية إما تعديلات مكلفة مخصصة لاسترجاع أثناء التدريب المسبق للنموذج اللغوي (LM)، أو استخدام دمج ما بعد الحدث لمخزن البيانات، مما يؤدي إلى أداء غير مثالي. نقدم طريقة تُسمى التكييف المزدوج الموجه بالتعليم المعزز باسترجاع (RA-DIT)، وهي منهجية خفيفة الوزن للضبط الدقيق (fine-tuning) توفر خيارًا ثالثًا من خلال تعديل أي نموذج لغوي كبير (LLM) لتمكينه من إجراء عمليات استرجاع. يعمل نهجنا عبر خطوتين منفصلتين للضبط الدقيق: (1) تُحدّث النموذج اللغوي المُدرّب مسبقًا ليستخدم المعلومات المسترجعة بشكل أفضل، بينما (2) تُحدّث أداة الاسترجاع لتُرجع نتائج أكثر صلة، حسب ما يفضله النموذج اللغوي. وباستخدام مهام تتطلب كلاً من استغلال المعرفة والوعي السياقي، نُظهر أن كل مرحلة تُحقّق تحسينات كبيرة في الأداء، وأن استخدام كلا المرحلتين معًا يؤدي إلى مكاسب إضافية. ويحقق أفضل نموذج لدينا، RA-DIT 65B، أداءً متفوقًا على مستوى الحد الأقصى في مجموعة متنوعة من معايير التعلم الصفرية والقليلة (zero- and few-shot) التي تعتمد على المعرفة، حيث يتفوّق بشكل ملحوظ على الطرق الحالية المعتمدة على السياق (in-context) في RALMs بنسبة تصل إلى +8.9% في الوضع الصفرية (0-shot) و+1.4% في الوضع الخمسية (5-shot) متوسطة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp