HumanEval (Code) est un benchmark de génération de code proposé par OpenAI, comprenant 164 exercices de programmation rédigés à la main et leurs tests unitaires correspondants. Le score HumanEval correspond à la proportion des fonctions générées par le modèle qui réussissent tous les cas de test ; il s’agit de l’une des métriques de référence les plus couramment utilisées dans le domaine de la génération de code. Il évalue la correction fonctionnelle, et non le style ou l’efficacité du code. Il est généralement exprimé en pourcentage ou en score entre 0 et 1, une valeur plus élevée étant préférable. Lors de son utilisation, il convient de préciser s’il s’agit de pass@1 ou de pass@k, ainsi que des paramètres tels que la température d’échantillonnage, afin de permettre une comparaison équitable.