BERTScore wurde 2019 von Tianyi Zhang et al. vorgeschlagen (ICLR 2020); das zugehörige Paper ist BERTScore: Evaluating Text Generation with BERT. Es werden kontextuelle Einbettungen von Modellen wie BERT verwendet, um die semantische Ähnlichkeit auf Token-Ebene zu berechnen, die dann zu Präzision, Recall und F1 aggregiert wird. Die Metrik ist robuster gegenüber Synonymen und Wortstellungsschwankungen, wird üblicherweise als Prozentwert oder in einem Bereich von 0–1 berichtet (höhere Werte sind besser) und stellt eine wichtige semantische Ergänzung zur Bewertung von Textgenerierung, Zusammenfassung und Übersetzung dar.