HyperAI
Command Palette
Search for a command to run...
HumanEval (Code) 是 OpenAI 提出的代码生成基准,包含 164 道手写编程题及对应单元测试。HumanEval 分数指模型生成的函数通过全部测试用例的比例,是代码生成领域最常用的基准限定指标之一。它评估的是功能正确性,而非代码风格或效率。通常以百分比或 0–1 分数报告,数值越高越好。使用时需注明是 pass@1 还是 pass@k,以及采样温度等设置,以便公平对比。