FEA-Bench は、Microsoft が 2025 年にリリースした、リポジトリレベルのコード生成能力を評価するためのベンチマークデータセットであり、大規模言語モデルがリポジトリレベルの増分的なコード開発においてどの程度の性能を発揮するかを測定することを目的としています。

このデータセットには、83 個の GitHub リポジトリから抽出された 1,401 個のタスクインスタンスが含まれており、これらは新機能の実装（Feature Implementation）を目的としたプルリクエスト（Pull Requests）に由来しています。 各タスクインスタンスには、リポジトリ情報、ベースコミットハッシュ、プルリクエスト番号、および単体テストの状態情報（FAIL_TO_PASS および PASS_TO_PASS）が含まれており、主にモデルが複雑なソフトウェア工学タスクを解決する能力を評価するために使用されます。データ汚染を防ぐため、モデルのトレーニングには使用しないでください。

データセットの構成

• instance_id: タスクインスタンスの識別子。
• pull_number: 元の GitHub プルリクエストの番号。
• repo: ソースコードリポジトリ名（形式：owner/repo）。
• version: リポジトリのバージョン情報。
• base_commit: ベースコミットの SHA256 ハッシュ値。
• environment_setup_commit: 環境設定コミットのハッシュ値。
• created_at: タスクの作成日時。
• FAIL_TO_PASS: 修正が必要な失敗したテストケースを含む文字列シーケンス。
• PASS_TO_PASS: 合格状態を維持する必要があるテストケースを含む文字列シーケンス。