SVG Benchmark عبارة عن مجموعة بيانات تقييم كبيرة لتوليد الصور الثابتة تم إصدارها بواسطة Rapidata في عام 2025. وتهدف إلى مقارنة قدرة 30 نموذجًا لغويًا كبيرًا من أحدث التقنيات على توليد صور SVG ثابتة بناءً على مطالبات نصية من خلال التقييم البشري. جُمعت البيانات من خلال مقارنات ثنائية، شملت 500 نص إنجليزي من مجموعات بيانات مكتوبة بشريًا أو متاحة للعموم، و188,754 عينة مقارنة صور، و1,355,161 استجابة تفضيلية بناءً على تصويت بشري. غطت نماذج التقييم 30 نموذجًا شائعًا، من بينها Claude وGPT وGemini وDeepSeek وQwen وKimi. تمثلت أبعاد التقييم في التوافق والتماسك والتفضيل، وكلها مبنية على تجميع التصويت البشري، دون استخدام مقاييس آلية.

تكوين مجموعة البيانات:

حصلت مجموعة البيانات على ما مجموعه 1,355,161 صوتًا بشريًا، منها:

• التفضيلات الشخصية: 451,452 مرة
• معدل التطابق: 451,603 مرة
• عدد مرات الاستمرارية: 452,106 مرة

حقول البيانات:

• prompt: String، وهو نص المطالبة الأصلي المستخدم لإنشاء الصورة.
• image1 / image2: الصور، النموذج 1 والنموذج 2 تم إنشاء ملفات PNG نقطية SVG لها.
• model1 / model2: سلاسل تمثل معرفات النموذج للصور المقابلة (model1 هو دائمًا النموذج الذي يأتي اسمه أولاً بالترتيب الأبجدي).
• weighted_results_image*_preference / coherence / alignment: رقم فاصلة عائمة يمثل النتيجة الإجمالية للنموذج (من 0 إلى 1) عبر الأبعاد الثلاثة.
• detailed_results_*: سلسلة نصية، بتنسيق JSON، تحتوي على سجلات مفصلة لكل تصويت يدوي ومعلومات ديموغرافية للناخب لهذا البعد.
• ملاحظة: قد تشارك بعض العينات فقط في التقييم أحادي البعد أو ثنائي البعد؛ وقد تحتوي الحقول التي لا تشارك في التقييم على قيم فارغة.

  

  الاستشهاد

@dataset{yupp_svg_2025,
title={Yupp SVG Dataset: Exploration of the Reasoning and Coding Abilities of Frontier Models},
author={Yupp AI},
year={2025},
url={https://huggingface.co/datasets/yupp/yupp-svg-20251204}
}