HyperAIHyperAI

Command Palette

Search for a command to run...

PreFLMR: توسيع مُعدّلات الاسترجاع متعددة الوسائط التفاعلية المتأخرة ذات التفاصيل الدقيقة

Weizhe Lin Jingbiao Mei Jinghong Chen Bill Byrne

الملخص

تمتاز النماذج متعددة الوسائط الكبيرة (LMMs) بالتفوّق في الفهم اللغوي والبصري، لكنها تواجه صعوبات في المهام الدقيقة مثل الإجابة على الأسئلة المرئية القائمة على المعرفة (KB-VQA)، التي تتطلب استرجاع المعلومات ذات الصلة من مجموعات وثائقية لاستخدامها في صياغة إجابات على الأسئلة. نقدّم إطارًا شاملًا للتدريب والتقييم، يُسمّى M2KR، مخصّصًا لمهام KB-VQA. يحتوي M2KR على مجموعة من المهام البصرية واللغوية التي قمنا بدمجها ضمن مجموعة موحدة من مهام التقييم لتدريب وتقييم نماذج الاسترجاع متعددة الوسائط العامة. استخدمنا M2KR لتطوير PreFLMR، وهي نسخة مُدرّبة مسبقًا من منهجية FLMR (المرجع المتعدد الوسائط المُتداخل بدقة متأخرة) التي تم تطويرها حديثًا لمهام KB-VQA، ونُقدّم نتائج جديدة تُعدّ الأفضل في مجالها عبر مجموعة متنوعة من المهام. كما نقدّم دراسات حول سلوك التوسع (scaling behaviors) لـ PreFLMR، والتي تُعدّ مفيدة في التطورات المستقبلية لنماذج الاسترجاع متعددة الوسائط العامة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp