FEA-Bench est un ensemble de données de référence publié par Microsoft en 2025 pour évaluer les capacités de génération de code au niveau du dépôt, conçu pour mesurer les performances des grands modèles de langage dans le développement de code incrémental au niveau du dépôt.

Cet ensemble de données contient 1 401 instances de tâches provenant de 83 dépôts GitHub, issues de demandes de tirage (Pull Requests) visant à implémenter de nouvelles fonctionnalités (Feature Implementation). Chaque instance de tâche comprend des informations sur le dépôt, le hash du commit de base, le numéro de la demande de tirage et les informations d'état des tests unitaires (FAIL_TO_PASS et PASS_TO_PASS), principalement utilisées pour évaluer la capacité des modèles à résoudre des tâches complexes d'ingénierie logicielle. Elles ne sont pas destinées à l'entraînement des modèles afin d'éviter la contamination des données.

Composition de l'ensemble de données

• instance_id : identifiant de l'instance de tâche.
• pull_number : numéro de la demande de tirage GitHub d'origine.
• repo : nom du dépôt de code source (format owner/repo).
• version : informations de version du dépôt.
• base_commit : hash SHA256 du commit de base.
• environment_setup_commit : hash du commit de configuration de l'environnement.
• created_at : date de création de la tâche.
• FAIL_TO_PASS : séquence de chaînes contenant les cas de test en échec à corriger.
• PASS_TO_PASS : séquence de chaînes contenant les cas de test devant rester réussis.