FEA-Bench est un ensemble de données de référence publié par Microsoft en 2025 pour évaluer la capacité de génération de code au niveau du dépôt, visant à mesurer les performances des grands modèles de langage dans le développement incrémental de code à l'échelle du dépôt.

Cet ensemble de données contient 1 401 instances de tâches provenant de 83 dépôts GitHub. Ces instances sont issues de demandes de tirage (Pull Requests) visant à implémenter de nouvelles fonctionnalités (Feature Implementation). Chaque instance de tâche inclut des informations sur le dépôt, le hachage du commit de base, le numéro de la demande de tirage ainsi que l'état des tests unitaires (FAIL_TO_PASS et PASS_TO_PASS). Elle est principalement utilisée pour évaluer la capacité des modèles à résoudre des tâches complexes d'ingénierie logicielle et ne doit pas être utilisée pour l'entraînement des modèles afin d'éviter la contamination des données.

Composition du jeu de données

• instance_id : Identifiant de l'instance de tâche.
• pull_number : Numéro de la demande de tirage GitHub originale.
• repo : Nom du dépôt de code source (au format owner/repo).
• version : Informations sur la version du dépôt.
• base_commit : Valeur de hachage SHA256 du commit de base.
• environment_setup_commit : Valeur de hachage du commit de configuration de l'environnement.
• created_at : Date et heure de création de la tâche.
• FAIL_TO_PASS : Séquence de chaînes de caractères contenant les cas de test échouants qui doivent être corrigés.
• PASS_TO_PASS : Séquence de chaînes de caractères contenant les cas de test qui doivent rester réussis.