FEA-Bench هو مجموعة بيانات معيارية صدرت بواسطة Microsoft في عام 2025 لتقييم قدرة توليد الأكواد على مستوى المستودعات، وتهدف إلى قياس أداء نماذج اللغة الكبيرة في تطوير الأكواد الإضافي على مستوى المستودعات.

تحتوي مجموعة البيانات هذه على 1,401 مثيل مهمة مستمدة من 83 مستودعًا على GitHub، وقد تم اشتقاق هذه المثيلات من طلبات السحب (Pull Requests) التي تهدف إلى تنفيذ ميزات جديدة (Feature Implementation). يتضمن كل مثيل مهمة معلومات المستودع، وتجزئة الالتزام الأساسي، ورقم طلب السحب، وحالة معلومات اختبارات الوحدة (FAIL_TO_PASS و PASS_TO_PASS)، ويُستخدم بشكل أساسي لتقييم قدرة النماذج على حل مهام هندسة البرمجيات المعقدة، ولا يصلح لتدريب النماذج لمنع تلوث البيانات.

تكوين مجموعة البيانات

• instance_id: معرّف مثيل المهمة.
• pull_number: رقم طلب السحب الأصلي على GitHub.
• repo: اسم مستودع الكود المصدري (بصيغة owner/repo).
• version: معلومات إصدار المستودع.
• base_commit: قيمة تجزئة SHA256 للالتزام الأساسي.
• environment_setup_commit: قيمة تجزئة التزام إعداد البيئة.
• created_at: وقت إنشاء المهمة.
• FAIL_TO_PASS: تسلسل نصي يحتوي على حالات الاختبار الفاشلة التي تحتاج إلى إصلاح.
• PASS_TO_PASS: تسلسل نصي يحتوي على حالات الاختبار التي يجب أن تظل ناجحة.