BERTScore a été proposé par Tianyi Zhang et al. en 2019 (ICLR 2020), les résultats de l'article associé se trouvent dans BERTScore: Evaluating Text Generation with BERT。Il calcule la similarité sémantique au niveau des jetons en utilisant les plongements contextuels de modèles tels que BERT, puis agrège les résultats en précision, rappel et F1. Il est plus robuste face aux synonymes et aux variations d'ordre des mots, est généralement rapporté sous forme de pourcentage ou de score entre 0 et 1, où une valeur plus élevée est meilleure, et constitue un complément important pour l'évaluation sémantique de la génération de texte, du résumé et de la traduction.