مجموعة بيانات التقييم متعدد الوسائط لـ FoMER Bench
Date
Size
Paper URL
License
Apache 2.0
FoMER Bench هو معيار أساسي للنموذج المجسد للتفكير (FoMER) تم إصداره في عام 2025 من قبل جامعة محمد بن زايد للذكاء الاصطناعي وجامعة لينشوبينج والجامعة الوطنية الأسترالية.ما مدى جودة النماذج الأساسية في التفكير المتجسد خطوة بخطوة؟"، والذي يهدف إلى تقييم قدرة التفكير المنطقي لدى LMM في سيناريوهات اتخاذ القرار المجسدة المعقدة.
تحتوي هذه المجموعة من البيانات على أكثر من 1100 مثال، تغطي 10 مهام، بالإضافة إلى تحليل تفصيلي خطوة بخطوة لثماني مهام استدلال مجسدة، تشمل ثلاثة أنواع مختلفة من الروبوتات وأنماطًا متعددة لها. تتيح هذه المجموعة تقييم قدرات برنامج ماجستير القيادة (LLM) عبر مهام متنوعة، مثل التنبؤ بالخطوات التالية، وإمكانية اتخاذ الإجراءات، والحس السليم، والاستدلال الزمني، واستخدام الأدوات والتحكم بها، وتقييم المخاطر، وتنقل الروبوت. تتضمن البيانات أسئلة اختيار من متعدد (MCQs)، وأسئلة صح/خطأ (TFs)، وأسئلة مفتوحة. يُرفق بكل مثال ملاحظة إدخال (فيديو أو إطار صورة + موجه نصي)، وإجراءات ترشيح متعددة، وتتبعات استدلالية خطوة بخطوة مقابلة.
Build AI with AI
From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.