PreFLMR: توسيع مُعدّلات الاسترجاع متعددة الوسائط التفاعلية المتأخرة ذات التفاصيل الدقيقة

تمتاز النماذج متعددة الوسائط الكبيرة (LMMs) بالتفوّق في الفهم اللغوي والبصري، لكنها تواجه صعوبات في المهام الدقيقة مثل الإجابة على الأسئلة المرئية القائمة على المعرفة (KB-VQA)، التي تتطلب استرجاع المعلومات ذات الصلة من مجموعات وثائقية لاستخدامها في صياغة إجابات على الأسئلة. نقدّم إطارًا شاملًا للتدريب والتقييم، يُسمّى M2KR، مخصّصًا لمهام KB-VQA. يحتوي M2KR على مجموعة من المهام البصرية واللغوية التي قمنا بدمجها ضمن مجموعة موحدة من مهام التقييم لتدريب وتقييم نماذج الاسترجاع متعددة الوسائط العامة. استخدمنا M2KR لتطوير PreFLMR، وهي نسخة مُدرّبة مسبقًا من منهجية FLMR (المرجع المتعدد الوسائط المُتداخل بدقة متأخرة) التي تم تطويرها حديثًا لمهام KB-VQA، ونُقدّم نتائج جديدة تُعدّ الأفضل في مجالها عبر مجموعة متنوعة من المهام. كما نقدّم دراسات حول سلوك التوسع (scaling behaviors) لـ PreFLMR، والتي تُعدّ مفيدة في التطورات المستقبلية لنماذج الاسترجاع متعددة الوسائط العامة.