Chenghao Zhang Guanting Dong Xinyu Yang Zhicheng Dou

الملخص

أصبحت تقنية التوليد المدعوم بالاسترجاع (RAG) نموذجًا قويًا لتعزيز نماذج اللغات الكبيرة (LLMs) من خلال استرجاع الوثائق ذات الصلة من مخزون خارجي. ومع ذلك، تتركز الأنظمة الحالية المبنية على RAG بشكل رئيسي على الوثائق النصية من نوع واحد، وغالبًا ما تفشل في السيناريوهات الواقعية التي قد تتضمن مزيجًا من الوسائط (مثل النصوص والصور) في الاستفسارات والوثائق على حد سواء. في هذا البحث، ن tackled التحدي المتمثل في التوليد المدعوم بالاسترجاع الشامل (URAG)، الذي يشمل استرجاع المعلومات المختلطة الوسائط والتفكير فيها لتحسين مهارات التوليد بين الرؤية واللغة. وللإجابة على هذا التحدي، نقترح "نيكس" (Nyx)، وهو نظام استرجاع موحد يتعامل مع الوسائط المختلطة من نوع مدخل إلى نوع مخرج، مصمم خصيصًا لسياقات URAG. ولتقليل ندرة البيانات المختلطة الوسائط الواقعية، نقدّم_pipeline_ آلية تلقائية مكونة من أربع مراحل لتجهيز وتصفية البيانات، مستخدمين الوثائق المتوفرة على الويب لبناء مجموعة بيانات تُسمى "نيكس-كِي-أي" (NyxQA)، التي تضم أزواجًا متنوعة من الأسئلة والأجوبة المختلطة الوسائط، وتعكس بشكل أفضل احتياجات المعلومات في العالم الحقيقي. بالاعتماد على هذه المجموعة عالية الجودة، نستخدم إطارًا تدريبيًا مكونًا من مرحلتين لـ "نيكس": نبدأ بتدريب مُسبق على مجموعة NyxQA جنبًا إلى جنب مع مجموعة متنوعة من مجموعات بيانات الاسترجاع المفتوحة المصدر، ثم نُنفّذ تدريبًا مُراقبًا باستخدام ملاحظات من نماذج التوليد بين الرؤية واللغة (VLMs) لتمييز مخرجات الاسترجاع بما يتوافق مع تفضيلات التوليد. تُظهر النتائج التجريبية أن "نيكس" لا يُنافس بفعالية في معايير RAG التقليدية القائمة على النصوص فقط، بل يُظهر أداءً متميزًا في بيئة URAG الأعمق واقعية، مع تحسين ملحوظ لجودة التوليد في المهام المرتبطة بالرؤية واللغة.