مجموعة بيانات وصف الصور CompreCap

تم إنشاء مجموعة بيانات CompreCap بشكل مشترك بين جامعة العلوم والتكنولوجيا في الصين ومجموعة Ant في عام 2024 لتقييم دقة وشمولية نماذج اللغة المرئية واسعة النطاق في توليد أوصاف مفصلة للصور. "نتائج الورقة ذات الصلة هي"معايرة نماذج الرؤية واللغة الكبيرة عبر رسم المشهد الموجه لترجمة الصور الشاملةتحتوي مجموعة البيانات على 560 صورة، تم تقسيم كل منها دلاليًا بشكل دقيق وشرحها باستخدام الكائنات والسمات والعلاقات لتشكيل بنية رسم بياني للمشهد الموجه بالكامل.

تم بناء مجموعة البيانات على أساس مجموعة بيانات التجزئة البانوبتيكية MSCOCO، ولكن تم توسيعها وتحسينها. قام الباحثون ببناء مفردات من فئات الكائنات الشائعة من مجموعات بيانات متعددة معروفة وأعادوا شرح هذه الفئات لتوفير أقنعة تقسيم دلالي أكثر دقة. ولضمان اكتمال الشرح التوضيحي، يتم الاحتفاظ فقط بالصور التي تغطي مناطقها المجزأة مساحة أكبر من 95% من مساحة الصورة. ثم قام الباحثون بإضافة أوصاف تفصيلية للسمات الخاصة بهذه الكائنات يدويًا وشرحوا العلاقات المهمة بين الكائنات لتشكيل بنية رسم بياني للمشهد الموجه بالكامل.

تتضمن معلومات الشرح التوضيحي لمجموعة بيانات CompreCap قناع التجزئة الدلالية للكائن، ووصف السمة التفصيلي، والعلاقة الاتجاهية بين الكائنات. لا تغطي هذه التعليقات فئات الكائنات الشائعة فحسب، بل تلتقط أيضًا العلاقات المعقدة بين الكائنات في شكل رسوم بيانية للمشهد الموجه، مما يسمح لمجموعة البيانات بتقييم جودة إنشاء أوصاف الصور التفصيلية بشكل شامل.