RA-DIT: التحسين بالتعليم المزدوج المعزز بالاسترجاع

تحسّن النماذج اللغوية المعززة باسترجاع (RALMs) الأداء من خلال الوصول إلى معرفة طويلة الذيل وحديثة من مخازن بيانات خارجية، لكن بناءها يُعدّ تحديًا كبيرًا. تتطلب الطرق الحالية إما تعديلات مكلفة مخصصة لاسترجاع أثناء التدريب المسبق للنموذج اللغوي (LM)، أو استخدام دمج ما بعد الحدث لمخزن البيانات، مما يؤدي إلى أداء غير مثالي. نقدم طريقة تُسمى التكييف المزدوج الموجه بالتعليم المعزز باسترجاع (RA-DIT)، وهي منهجية خفيفة الوزن للضبط الدقيق (fine-tuning) توفر خيارًا ثالثًا من خلال تعديل أي نموذج لغوي كبير (LLM) لتمكينه من إجراء عمليات استرجاع. يعمل نهجنا عبر خطوتين منفصلتين للضبط الدقيق: (1) تُحدّث النموذج اللغوي المُدرّب مسبقًا ليستخدم المعلومات المسترجعة بشكل أفضل، بينما (2) تُحدّث أداة الاسترجاع لتُرجع نتائج أكثر صلة، حسب ما يفضله النموذج اللغوي. وباستخدام مهام تتطلب كلاً من استغلال المعرفة والوعي السياقي، نُظهر أن كل مرحلة تُحقّق تحسينات كبيرة في الأداء، وأن استخدام كلا المرحلتين معًا يؤدي إلى مكاسب إضافية. ويحقق أفضل نموذج لدينا، RA-DIT 65B، أداءً متفوقًا على مستوى الحد الأقصى في مجموعة متنوعة من معايير التعلم الصفرية والقليلة (zero- and few-shot) التي تعتمد على المعرفة، حيث يتفوّق بشكل ملحوظ على الطرق الحالية المعتمدة على السياق (in-context) في RALMs بنسبة تصل إلى +8.9% في الوضع الصفرية (0-shot) و+1.4% في الوضع الخمسية (5-shot) متوسطة.