معيار فهم الصور هو مجموعة بيانات اصطناعية صادرة عن Microsoft في عام 2024 لتقييم فهم الصور، ويهدف إلى تقييم قدرات النماذج متعددة الوسائط في فهم الصور والاستدلال المكاني والتنبيه البصري والتعرف على الأشياء واكتشافها.

تحتوي مجموعة البيانات على أربع مهام فرعية: اكتشاف الأشياء، والتعرف على الأشياء، والاستدلال المكاني، والتنبيه البصري، مع توليد حوالي 10,240 صورة. يتم توليد البيانات برمجيًا، مع دمج كائنات COCO وخلفيات Places365، وإضافة تغييرات عشوائية في التدوير والموضع والقياس، ويمكن استخدامها لتقييم القدرة البصرية للنماذج متعددة الوسائط.

تكوين مجموعة البيانات

تحتوي مجموعة البيانات على 8 تكوينات (config)، مقسمة إلى شرطين: كائن واحد (single) وكائنين (pairs)، وتغطي المهام الفرعية الأربع التالية:

• اكتشاف الأشياء (Object Detection)
• التعرف على الأشياء (Object Recognition)
• الاستدلال المكاني (Spatial Reasoning)
• التنبيه البصري (Visual Prompting)

تولد كل مهمة فرعية 1,280 صورة تحت كل شرط، بإجمالي حوالي 10,240 صورة. يحتوي كل تكوين بشكل أساسي على الحقول التالية:

• id: الرقم الفريد لعينة البيانات.
• image: الصورة المدخلة.
• prompt: نص التنبيه المستخدم لتقييم النموذج.
• ground_truth: الإجابة القياسية في بعض المهام.