سجلات تقييم Eureka Bench هي مجموعة بيانات تحتوي على سجلات تقييم واسعة النطاق للنماذج الأساسية الضخمة، تم نشرها من قبل Microsoft في عام 2024. الورقة البحثية ذات الصلة هي "Eureka: Evaluating and Understanding Large Foundation Models"، وتهدف إلى تقديم فهم وتقييم عميقين لقدرة النماذج الأساسية الضخمة على الاستدلال في المهام المعقدة.

تتضمن هذه المجموعة سجلات تشغيل من إطار عمل Eureka ML Insights، وتسجل الأداء التفصيلي لعائلات نماذج مختلفة ونماذج محددة عبر اختبارات معيارية متنوعة. تنظم البيانات حسب الاختبار المعياري، وعائلة النموذج، واسم النموذج، وتغطي نتائج أبحاث توسيع وقت الاستدلال لنماذج مثل Phi-4-reasoning. تساعد هذه المعلومات الباحثين على تحليل فروقات الأداء واتجاهات التحسين للنماذج في مهام مثل تحويل الصورة إلى نص.

مكونات المجموعة

• الاختبارات المعيارية (Benchmarks): تُصنف السجلات حسب معايير التقييم المحددة، وتغطي مهام متعددة الوسائط مثل تحويل الصورة إلى نص.
• عائلات النماذج (Model Families): تُجمع البيانات حسب عائلات النماذج، مما يسهل مقارنة التقدم بين النماذج المختلفة ضمن البنية المعمارية نفسها.
• أسماء النماذج (Model Names): يقابل كل سجل في البيانات نموذجًا محددًا، ويسجل بيانات تفصيلية للاستدلال والتقييم.

توفر بيانات هذه السجلات مواد تجريبية غنية لتقييم وفهم النماذج الأساسية الضخمة.