HyperAIHyperAI

Command Palette

Search for a command to run...

RankRAG: دمج تصنيف السياق مع التوليد المدعوم بالاسترجاع في LLMs

Yue Yu Wei Ping Zihan Liu Boxin Wang Jiaxuan You Chao Zhang Mohammad Shoeybi Bryan Catanzaro

الملخص

تستخدم النماذج اللغوية الكبيرة (LLMs) عادةً السياقات الأعلى من الدرجة k من مُسترجع في التوليد المدعوم بالاسترجاع (RAG). في هذا العمل، نقترح إطارًا جديدًا للتحسين حسب التعليمات يُسمى RankRAG، الذي يُحسّن نموذج لغوي واحد وفقًا للتعليمات بهدف المزامنة بين ترتيب السياقات وإنتاج الإجابة في سياق RAG. وتحديدًا، تُظهر النماذج اللغوية المُحسّنة حسب التعليمات أداءً مُدهشًا عند دمج جزء صغير من بيانات الترتيب في مزيج التدريب، وتتفوّق على النماذج الاحترافية الحالية في الترتيب، بما في ذلك نفس النموذج اللغوي المُحسّن بشكل حصري على كميات كبيرة من بيانات الترتيب. وبالنسبة للتوليد، قارنا نموذجنا مع العديد من النماذج القوية كمرجعية، بما في ذلك GPT-4-0613 وGPT-4-turbo-2024-0409 وChatQA-1.5، وهو نموذج مفتوح المصدر يتمتع بأفضل أداء في المعايير الحالية لاختبارات RAG. وبشكل خاص، يتفوّق نموذج Llama3-RankRAG بشكل كبير على نموذج Llama3-ChatQA-1.5 ونماذج GPT-4 في تسع معايير تعتمد على المعرفة. وبالإضافة إلى ذلك، يُظهر أداءً مماثلًا لـ GPT-4 في خمسة معايير RAG ضمن المجال الطبي دون تدريب مُخصص على بيانات طبية، مما يدل على قدرته الاستثنائية على التعميم إلى مجالات جديدة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp