FEA-Bench هي مجموعة بيانات معيارية طورتها Microsoft في عام 2025 لتقييم قدرات توليد الكود على مستوى المستودع، وتهدف إلى قياس أداء نماذج اللغة الكبيرة في تطوير الكود التدريجي على مستوى المستودع.

تحتوي هذه المجموعة على 1,401 مثالاً لمهام مستمدة من 83 مستودعاً على GitHub، حيث تم اشتقاق هذه الأمثلة من طلبات السحب (Pull Requests) المصممة لتنفيذ ميزات جديدة (Feature Implementation). يتضمن كل مثال للمهمة معلومات المستودع، وباسم التثبيت الأساسي (base commit hash)، ورقم طلب السحب، وحالة اختبارات الوحدة (FAIL_TO_PASS و PASS_TO_PASS). تُستخدم هذه البيانات بشكل أساسي لتقييم قدرة النماذج على حل مهام هندسة البرمجيات المعقدة، ولا ينبغي استخدامها لتدريب النماذج لتجنب تلوث البيانات.

مكونات مجموعة البيانات

• instance_id: معرّف لمثال المهمة.
• pull_number: رقم طلب السحب الأصلي على GitHub.
• repo: اسم مستودع الكود المصدري (بالصيغة owner/repo).
• version: معلومات إصدار المستودع.
• base_commit: قيمة التجزئة SHA256 للتثبيت الأساسي.
• environment_setup_commit: قيمة التجزئة للتثبيت الخاص بإعداد البيئة.
• created_at: وقت إنشاء المهمة.
• FAIL_TO_PASS: تسلسل نصي يحتوي على حالات الاختبار الفاشلة التي يجب إصلاحها.
• PASS_TO_PASS: تسلسل نصي يحتوي على حالات الاختبار التي يجب أن تبقى ناجحة.