HumanEval (Code) は OpenAI が提唱したコード生成ベンチマークであり、164 の手書きプログラミング問題とそれに対応する単体テストを含みます。HumanEval スコアは、モデルが生成した関数がすべてのテストケースをパスした割合を指し、コード生成分野で最も一般的に使用されるベンチマーク指標の一つです。これはコードスタイルや効率ではなく、機能の正しさを評価します。通常はパーセンテージまたは 0～1 のスコアで報告され、数値が高いほど良い結果を示します。公平な比較を行うためには、pass@1 または pass@k のいずれであるか、およびサンプリング温度などの設定を明記する必要があります。