Diversity Score (Distinct-1/Distinct-2) ist eine wichtige Bewertungsmetrik für Textgenerierungsaufgaben im Bereich großer Modelle und Inferenz. Die ursprüngliche Definition (Li et al., 2015) lautet: Die Anzahl der verschiedenen Unigrams und Bigrams wird jeweils durch die Gesamtzahl der Wörter im generierten Text geteilt. Sie misst die lexikalische Vielfalt des generierten Inhalts und die Fähigkeit, Wiederholungen zu vermeiden. Ein höherer Wert zeigt an, dass das Modell einen vielfältigeren, weniger eintönigen Text erzeugen kann.

Einige nachfolgende Implementierungen und Tutorials verwenden stattdessen die „Gesamtzahl der n-Gramme“ als Nenner, was von der Definition im Originalpapier abweicht und bei Vergleichen berücksichtigt werden muss. Die Metrik wird üblicherweise als dimensionslose Zahl berichtet. Dieser Indikator wird in entsprechenden Benchmarks und Studien weit verbreitet eingesetzt und reflektiert effektiv die Leistung des Modells in dieser Dimension. Höhere Werte sind besser.