RankRAG: دمج تصنيف السياق مع التوليد المدعوم بالاسترجاع في LLMs

تستخدم النماذج اللغوية الكبيرة (LLMs) عادةً السياقات الأعلى من الدرجة k من مُسترجع في التوليد المدعوم بالاسترجاع (RAG). في هذا العمل، نقترح إطارًا جديدًا للتحسين حسب التعليمات يُسمى RankRAG، الذي يُحسّن نموذج لغوي واحد وفقًا للتعليمات بهدف المزامنة بين ترتيب السياقات وإنتاج الإجابة في سياق RAG. وتحديدًا، تُظهر النماذج اللغوية المُحسّنة حسب التعليمات أداءً مُدهشًا عند دمج جزء صغير من بيانات الترتيب في مزيج التدريب، وتتفوّق على النماذج الاحترافية الحالية في الترتيب، بما في ذلك نفس النموذج اللغوي المُحسّن بشكل حصري على كميات كبيرة من بيانات الترتيب. وبالنسبة للتوليد، قارنا نموذجنا مع العديد من النماذج القوية كمرجعية، بما في ذلك GPT-4-0613 وGPT-4-turbo-2024-0409 وChatQA-1.5، وهو نموذج مفتوح المصدر يتمتع بأفضل أداء في المعايير الحالية لاختبارات RAG. وبشكل خاص، يتفوّق نموذج Llama3-RankRAG بشكل كبير على نموذج Llama3-ChatQA-1.5 ونماذج GPT-4 في تسع معايير تعتمد على المعرفة. وبالإضافة إلى ذلك، يُظهر أداءً مماثلًا لـ GPT-4 في خمسة معايير RAG ضمن المجال الطبي دون تدريب مُخصص على بيانات طبية، مما يدل على قدرته الاستثنائية على التعميم إلى مجالات جديدة.