HyperAIHyperAI

Command Palette

Search for a command to run...

فهم ما يحتاجه LLM: التوافق المزدوج للرغبات في التوليد المعزز بالاسترجاع

Guanting Dong Yutao Zhu Chenghao Zhang Zechen Wang Zhicheng Dou Ji-Rong Wen

الملخص

أثبتت تقنية الاسترجاع المعززة بالتقديم (RAG) فعاليتها في تخفيف مشكلة الوهم في نماذج اللغة الكبيرة (LLMs). ومع ذلك، فإن صعوبة مواءمة جهاز الاسترجاع مع تفضيلات المعرفة المتنوعة لنماذج اللغة الكبيرة تشكل تحديًا حتميًا في تطوير نظام RAG موثوق. لمعالجة هذه المشكلة، نقترح DPA-RAG، إطار عام مصمم لمواءمة التفضيلات المعرفية المتنوعة داخل أنظمة RAG. بشكل خاص، نقدم أولاً خط أنابيب بناء المعرفة التفضيلية وندمج خمس استراتيجيات جديدة لتقوية الاستعلامات لتخفيف ندرة بيانات التفضيل. على أساس بيانات التفضيل، يحقق DPA-RAG كل من مواءمة التفضيلات الخارجية والداخلية: 1) يقوم بدمج قدرات مواءمة التفضيلات الزوجية والنقطية والتضادية في إعادة المرتبة، مما يحقق مواءمة التفضيلات الخارجية بين مكونات RAG. 2) يقدم أيضًا مرحلة مواءمة سابقة قبل التعديل الإشرافي التقليدي (SFT)، مما يتيح لنماذج اللغة الكبيرة التقاط المعرفة بشكل ضمني بما يتماشى مع تفضيلاتها في الاستدلال، مما يحقق مواءمة داخلية لنماذج اللغة الكبيرة. تظهر النتائج التجريبية عبر أربعة مجموعات بيانات للأسئلة والأجوبة ذات الطابع المعرفي القوي أن DPA-RAG يتفوق على جميع النماذج الأولية ويتكامل بسلاسة مع القراء الأسود الصندوق والمصدر المفتوح لنماذج اللغة الكبيرة. كما توفر المزيد من التحليلات والنقاشات الدقيقة إرشادات عملية لتحقيق أنظمة RAG موثوقة. يمكن الوصول إلى كودنا بشكل عام على الرابط https://github.com/dongguanting/DPA-RAG.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp