مجموعة بيانات معيارية لتقييم متعدد الوسائط M2RAG

M2RAG عبارة عن مجموعة بيانات متعددة الوسائط لتقييم قدرات نماذج اللغة الكبيرة متعددة الوسائط (MLLMs) في سيناريوهات الاسترجاع متعددة الوسائط. يهدف هذا البحث إلى تقييم قدرة برامج استرجاع الوثائق متعددة الوسائط على الاستفادة من المعرفة المستندة إلى استرجاع الوثائق متعددة الوسائط في مهام مثل وصف الصور، والإجابة على الأسئلة متعددة الوسائط، والتحقق من الحقائق، وإعادة ترتيب الصور. نتائج الورقة ذات الصلة هيتقييم أداء توليد البيانات المعزز بالاسترجاع في سياقات متعددة الوسائط".

تجمع مجموعة البيانات هذه بين بيانات الصور والنصوص لمحاكاة مهام استرجاع المعلومات وتوليدها في سيناريوهات حقيقية، مثل تحليل الأحداث الإخبارية والإجابة على الأسئلة المرئية. يركز على تقييم قدرة برامج التعلم المتعدد الوسائط على استخدام المعرفة المسترجعة من المستندات في سياقات متعددة الوسائط، بما في ذلك فهم محتوى الصورة، وربط النص بالصورة، والحكم على الحقائق.