FEA-Bench ist ein 2025 von Microsoft veröffentlichter Benchmark-Datensatz zur Bewertung der Fähigkeit zur repositoryweiten Codegenerierung. Er zielt darauf ab, die Leistung großer Sprachmodelle bei der inkrementellen Codeentwicklung auf Repository-Ebene zu messen.

Der Datensatz umfasst 1.401 Task-Instanzen aus 83 GitHub-Repositories. Diese Instanzen stammen aus Pull Requests, die der Implementierung neuer Funktionen (Feature Implementation) dienen. Jede Task-Instanz enthält Repository-Informationen, den Hash-Wert des Basis-Commits, die Pull-Request-Nummer sowie Statusinformationen zu Unit-Tests (FAIL_TO_PASS und PASS_TO_PASS). Der Datensatz dient primär der Bewertung der Fähigkeit von Modellen, komplexe Software-Engineering-Aufgaben zu lösen. Er ist nicht für das Training von Modellen vorgesehen, um Datenkontamination zu vermeiden.

Zusammensetzung des Datensatzes

• instance_id: Bezeichner der Task-Instanz.
• pull_number: Nummer des ursprünglichen GitHub-Pull-Requests.
• repo: Name des Quellcode-Repositories (Format: owner/repo).
• version: Versionsinformation des Repositories.
• base_commit: SHA256-Hash-Wert des Basis-Commits.
• environment_setup_commit: Hash-Wert des Commits zur Einrichtung der Umgebung.
• created_at: Erstellungszeitpunkt der Task.
• FAIL_TO_PASS: Zeichenkettensequenz mit den fehlgeschlagenen Testfällen, die behoben werden müssen.
• PASS_TO_PASS: Zeichenkettensequenz mit den Testfällen, die weiterhin bestanden werden müssen.