HumanEval(코드)은 OpenAI가 제안한 코드 생성 벤치마크로, 164개의 수작업 프로그래밍 문제와 해당 단위 테스트를 포함하고 있습니다. HumanEval 점수는 모델이 생성한 함수가 모든 테스트 케이스를 통과한 비율을 의미하며, 코드 생성 분야에서 가장 널리 사용되는 벤치마크 지표 중 하나입니다. 이는 코드 스타일이나 효율성이 아닌 기능적 정확성을 평가합니다. 일반적으로 백분율 또는 0~1 점수로 보고되며, 값이 높을수록 좋습니다. 공정한 비교를 위해 사용 시 pass@1인지 pass@k인지, 그리고 샘플링 온도 등의 설정을 명시해야 합니다.