مجموعة بيانات معيارية للتفكير البصري VRC-Bench

VRC-Bench هو أول معيار تم تصميمه خصيصًا لمهام التفكير التدريجي المتعددة الوسائط. ويهدف إلى تقييم شامل لأداء النماذج في سيناريوهات التفكير المعقدة. تم إصداره في عام 2025 من قبل جامعة محمد بن زايد للذكاء الاصطناعي، وجامعة سنترال فلوريدا، وجامعة لينكوبينج، والجامعة الوطنية الأسترالية. "نتائج الورقة ذات الصلة هي"LlamaV-o1: إعادة النظر في التفكير البصري خطوة بخطوة في برامج الماجستير في القانون". على عكس معايير التقييم التقليدية التي تركز فقط على دقة النتيجة النهائية، يركز VRC-Bench على تقييم جودة كل خطوة من خطوات التفكير، مما يوفر تقييمًا أكثر تفصيلاً لقدرات النموذج.

تغطي مجموعة البيانات تحديات في ثمانية مجالات مختلفة، بما في ذلك التفكير البصري، والتفكير الرياضي والمنطقي، والتفكير العلمي، والفهم الثقافي والاجتماعي، وما إلى ذلك. تتضمن هذه المهام الإدراك البصري المعقد، والتفكير العلمي، وتفسير الصور الطبية، وسيناريوهات أخرى، وتحتوي على أكثر من 4 آلاف خطوة تفكير تم التحقق منها يدويًا، والتي يمكنها تقييم دقة النموذج وتماسكه المنطقي بشكل شامل في التفكير متعدد الخطوات.