L'évaluation humaine est une métrique d'évaluation cruciale pour les tâches de génération de texte dans le domaine des grands modèles de langage et du raisonnement. Elle consiste à faire évaluer par des humains la cohérence, l'intérêt et la pertinence du contenu généré, constituant ainsi l'indicateur le plus fiable pour la génération narrative ouverte, poétique ou humoristique, en compensant l'incapacité des métriques automatisées à saisir les perceptions subjectives et les différences créatives. Elle est généralement rapportée sous forme de pourcentage ou de score compris entre 0 et 1.

Cette métrique est largement utilisée dans les benchmarks et les articles de recherche pertinents, reflétant efficacement les performances des modèles sur cette dimension. Plus la valeur est élevée, meilleure est la performance. Elle aide les chercheurs et les ingénieurs à quantifier les écarts de performance réelle des modèles dans les scénarios de génération de texte, facilitant ainsi la comparaison horizontale entre différentes méthodes ou versions de modèles.