FEA-Bench는 Microsoft가 2025년에 발표한 저장소 수준 코드 생성 능력을 평가하기 위한 벤치마크 데이터셋으로, 대규모 언어 모델의 저장소 수준 증분 코드 개발 성능을 측정하는 것을 목표로 합니다.

이 데이터셋은 83개의 GitHub 저장소에서 추출한 1,401개의 작업 인스턴스로 구성되며, 이러한 인스턴스는 새로운 기능 구현(Feature Implementation)을 목표로 하는 풀 리퀘스트(Pull Requests)에서 파생되었습니다. 각 작업 인스턴스에는 저장소 정보, 기본 커밋 해시, 풀 리퀘스트 번호, 그리고 단위 테스트 상태 정보(FAIL_TO_PASS 및 PASS_TO_PASS)가 포함되며, 주로 모델의 복잡한 소프트웨어 엔지니어링 작업 해결 능력을 평가하는 데 사용됩니다. 데이터 오염을 방지하기 위해 모델 훈련에는 적합하지 않습니다.

데이터셋 구성

• instance_id: 작업 인스턴스의 식별자.
• pull_number: 원본 GitHub 풀 리퀘스트의 번호.
• repo: 소스 코드 저장소 이름(형식: owner/repo).
• version: 저장소 버전 정보.
• base_commit: 기본 커밋의 SHA256 해시 값.
• environment_setup_commit: 환경 설정 커밋의 해시 값.
• created_at: 작업 생성 시간.
• FAIL_TO_PASS: 수정이 필요한 실패한 테스트 케이스를 포함하는 문자열 시퀀스.
• PASS_TO_PASS: 통과 상태를 유지해야 하는 테스트 케이스를 포함하는 문자열 시퀀스.