FEA-Bench ist ein von Microsoft im Jahr 2025 veröffentlichtes Benchmark-Datenset zur Bewertung der Fähigkeiten zur Repository-weiten Codegenerierung, das darauf abzielt, die Leistung großer Sprachmodelle bei der inkrementellen Codeentwicklung auf Repository-Ebene zu messen.

Das Datenset enthält 1.401 Aufgabeninstanzen aus 83 GitHub-Repositories, die aus Pull Requests stammen, die auf die Implementierung neuer Funktionen (Feature Implementation) abzielen. Jede Aufgabeninstanz enthält Repository-Informationen, den Basis-Commit-Hash, die Pull-Request-Nummer sowie Statusinformationen zu Unit-Tests (FAIL_TO_PASS und PASS_TO_PASS) und dient hauptsächlich dazu, die Fähigkeit von Modellen zur Lösung komplexer Softwareentwicklungsaufgaben zu bewerten. Es ist nicht für das Modelltraining geeignet, um Datenkontamination zu vermeiden.

Zusammensetzung des Datensatzes

• instance_id: Kennung der Aufgabeninstanz.
• pull_number: Nummer des ursprünglichen GitHub-Pull-Requests.
• repo: Name des Quellcode-Repositories (Format: owner/repo).
• version: Versionsinformationen des Repositories.
• base_commit: SHA256-Hash des Basis-Commits.
• environment_setup_commit: Hash des Commits für die Umgebungseinrichtung.
• created_at: Erstellungszeitpunkt der Aufgabe.
• FAIL_TO_PASS: Zeichenfolgenfolge, die die fehlgeschlagenen Testfälle enthält, die behoben werden müssen.
• PASS_TO_PASS: Zeichenfolgenfolge, die die Testfälle enthält, die weiterhin bestanden werden müssen.