تُعد مجموعة البيانات هذه معيار تقييم جديد اقترحه فريق من جامعة ويستليك، والجامعة الوطنية في سنغافورة، وجامعة تشجيانغ، وجامعة هواتشونغ للعلوم والتكنولوجيا في عام 2025. وتتمثل نتائج الورقة البحثية ذات الصلة في:هل يمكن لـ MLLMs إرشادي إلى المنزل؟ دراسة مرجعية حول التفكير البصري الدقيق من خرائط النقليُركز ReasonMap على العلاقات المكانية واستدلال المسارات في الصور. وهو أول معيار تقييم للاستدلال متعدد الوسائط يُركز على خرائط المرور عالية الدقة (خاصةً خرائط مترو الأنفاق)، وهو مُصمم لتقييم قدرة النماذج الكبيرة على فهم المعلومات المكانية المنظمة الدقيقة في الصور.

ميزات مجموعة البيانات:

• تحدي الدقة العالية: يبلغ متوسط دقة كل صورة خريطة في مجموعة البيانات 5839 × 5449، وهو أعلى بكثير من مهام التفكير البصري الحالية، ويضع متطلبات أعلى على قدرات ترميز الصور في النموذج.

• التصميم الذي يراعي الصعوبة: يتم تصنيف الصور حسب الصعوبة لضمان توزيع متوازن لأزواج الأسئلة والأجوبة في مستويات صعوبة مختلفة، مما يساعد على تقييم قدرات النموذج بشكل أكثر شمولاً.

• نظام تقييم متعدد الأبعاد: لا يفحص فقط دقة إجابات النموذج، بل يجري أيضًا تقييمًا دقيقًا لجودة مسار النموذج، بما في ذلك عقلانية المسار واستراتيجيات النقل.

• قريبة من سيناريوهات الاستخدام في العالم الحقيقي: تعتمد المهام بشكل مباشر على التفكير بالصور، ولا تعتمد على برامج الوسيطة المنظمة، وهي أقرب إلى الطريقة التي يفكر بها البشر عند استخدام الخرائط.