REPLUG: نماذج اللغة السوداء المُعزَّزة بالاسترجاع

نقدم إطار العمل REPLUG، وهو إطار تعزيز النماذج اللغوية بالاسترجاع يتعامل مع النموذج اللغوي (LM) كصندوق أسود ويضيف إليه نموذج استرجاع قابل للضبط. على عكس النماذج اللغوية المُعززة بالاسترجاع السابقة التي تدرب النماذج اللغوية باستخدام آليات انتباه متقاطع خاصة لترميز النص المسترجع، يقوم REPLUG ببساطة بإضافة الوثائق المسترجعة إلى بداية المدخلات للنموذج اللغوي الصندوق الأسود الثابت. يمكن تطبيق هذا التصميم البسيط بسهولة على أي نماذج استرجاع ولغوية موجودة. بالإضافة إلى ذلك، نوضح أن يمكن استخدام النموذج اللغوي لإشراف النموذج الاسترجاعي، الذي يمكنه بعد ذلك العثور على الوثائق التي تساعد النموذج اللغوي في صنع توقعات أفضل. تظهر تجاربنا أن REPLUG مع الاسترجاع القابل للضبط يحسن بشكل كبير أداء GPT-3 (175B) في النمذجة اللغوية بنسبة 6.3٪، وكذلك أداء Codex في اختبار MMLU الخمسي بنسبة 5.1٪.