فهم ما يحتاجه LLM: التوافق المزدوج للرغبات في التوليد المعزز بالاسترجاع

أثبتت تقنية الاسترجاع المعززة بالتقديم (RAG) فعاليتها في تخفيف مشكلة الوهم في نماذج اللغة الكبيرة (LLMs). ومع ذلك، فإن صعوبة مواءمة جهاز الاسترجاع مع تفضيلات المعرفة المتنوعة لنماذج اللغة الكبيرة تشكل تحديًا حتميًا في تطوير نظام RAG موثوق. لمعالجة هذه المشكلة، نقترح DPA-RAG، إطار عام مصمم لمواءمة التفضيلات المعرفية المتنوعة داخل أنظمة RAG. بشكل خاص، نقدم أولاً خط أنابيب بناء المعرفة التفضيلية وندمج خمس استراتيجيات جديدة لتقوية الاستعلامات لتخفيف ندرة بيانات التفضيل. على أساس بيانات التفضيل، يحقق DPA-RAG كل من مواءمة التفضيلات الخارجية والداخلية: 1) يقوم بدمج قدرات مواءمة التفضيلات الزوجية والنقطية والتضادية في إعادة المرتبة، مما يحقق مواءمة التفضيلات الخارجية بين مكونات RAG. 2) يقدم أيضًا مرحلة مواءمة سابقة قبل التعديل الإشرافي التقليدي (SFT)، مما يتيح لنماذج اللغة الكبيرة التقاط المعرفة بشكل ضمني بما يتماشى مع تفضيلاتها في الاستدلال، مما يحقق مواءمة داخلية لنماذج اللغة الكبيرة. تظهر النتائج التجريبية عبر أربعة مجموعات بيانات للأسئلة والأجوبة ذات الطابع المعرفي القوي أن DPA-RAG يتفوق على جميع النماذج الأولية ويتكامل بسلاسة مع القراء الأسود الصندوق والمصدر المفتوح لنماذج اللغة الكبيرة. كما توفر المزيد من التحليلات والنقاشات الدقيقة إرشادات عملية لتحقيق أنظمة RAG موثوقة. يمكن الوصول إلى كودنا بشكل عام على الرابط https://github.com/dongguanting/DPA-RAG.