Human Evaluation (menschliche Bewertung) ist eine wichtige Metrik für Textgenerierungsaufgaben im Bereich der großen Modelle und des logischen Schließens. Menschen bewerten die Kohärenz, Unterhaltsamkeit und Angemessenheit der generierten Inhalte. Sie ist die maßgeblichste Metrik für offene narrative, poetische oder humorvolle Generierung und gleicht die Unfähigkeit automatisierter Metriken aus, subjektive Wahrnehmungen und kreative Unterschiede zu erfassen. Sie wird üblicherweise als Prozentsatz oder auf einer Skala von 0 bis 1 berichtet.

Diese Metrik wird in einschlägigen Benchmarks und Publikationen weit verbreitet eingesetzt und reflektiert wirksam die Leistung des Modells in dieser Dimension. Höhere Werte sind besser. Sie hilft Forschern und Ingenieuren, die tatsächlichen Leistungsunterschiede der Modelle bei Textgenerierungsszenarien zu quantifizieren, was den direkten Vergleich verschiedener Methoden oder Modellversionen erleichtert.