FEA-Bench は、Microsoft が 2025 年に公開した、リポジトリレベルのコード生成能力を評価するためのベンチマークデータセットであり、大規模言語モデルにおけるリポジトリレベルのインクリメンタルなコード開発の性能を測定することを目的としています。

このデータセットには、83 個の GitHub リポジトリから収集された 1,401 件のタスクインスタンスが含まれており、これらのインスタンスは、新機能の実装（Feature Implementation）を目的としたプルリクエスト（Pull Requests）に由来しています。 各タスクインスタンスには、リポジトリ情報、ベースコミットハッシュ、プルリクエスト番号、およびユニットテストのステータス情報（FAIL_TO_PASS および PASS_TO_PASS）が含まれており、主にモデルが複雑なソフトウェアエンジニアリングタスクを解決する能力を評価するために使用されます。データ汚染を防ぐため、モデルのトレーニングには適していません。

データセットの構成

• instance_id: タスクインスタンスの識別子。
• pull_number: 元の GitHub プルリクエストの番号。
• repo: ソースコードリポジトリ名（形式は owner/repo）。
• version: リポジトリのバージョン情報。
• base_commit: ベースコミットの SHA256 ハッシュ値。
• environment_setup_commit: 環境設定コミットのハッシュ値。
• created_at: タスクの作成日時。
• FAIL_TO_PASS: 修正が必要な失敗テストケースを含む文字列シーケンス。
• PASS_TO_PASS: 合格を維持する必要があるテストケースを含む文字列シーケンス。