HumanEval (Code) ist ein von OpenAI eingeführter Benchmark für Codegenerierung, der 164 handgeschriebene Programmieraufgaben und zugehörige Unit-Tests umfasst. Der HumanEval-Score gibt den Anteil der von einem Modell generierten Funktionen an, die alle Testfälle bestehen, und ist eine der am häufigsten verwendeten Benchmark-Metriken im Bereich der Codegenerierung. Er bewertet die funktionale Korrektheit, nicht den Code-Stil oder die Effizienz. Die Ergebnisse werden üblicherweise als Prozentsatz oder als Wert zwischen 0 und 1 angegeben, wobei höhere Werte besser sind. Bei der Verwendung muss angegeben werden, ob es sich um pass@1 oder pass@k handelt, sowie weitere Einstellungen wie die Sampling-Temperatur, um faire Vergleiche zu ermöglichen.