Command Palette
Search for a command to run...
BLEU/ROUGE
BLEU (Bilingual Evaluation Understudy) a été proposé par Kishore Papineni et al. en 2002. Il calcule une note globale en multipliant la précision des n-grammes (généralement de 1 à 4) entre l'hypothèse et la référence par un facteur de pénalité de longueur. L'échelle de la note va de 0 à 100, une valeur plus élevée indiquant une meilleure performance.
ROUGE (Recall-Oriented Understudy for Gisting Evaluation) a été proposé par Chin-Yew Lin en 2004. Initialement conçu pour l'évaluation de la résumé automatique, il a ensuite été étendu aux tâches de traduction automatique et de génération de texte. ROUGE-L calcule la moyenne harmonique du rappel et de la précision basées sur la plus longue sous-séquence commune (LCS), tenant compte à la fois de la couverture du contenu et de l'ordre. Il évalue la fidélité du texte généré en se basant sur le chevauchement des n-grammes avec le texte de référence, et convient à la génération ouverte disposant d'une référence. Une valeur plus élevée est préférable. Cette métrique est sensible à la couverture des informations clés dans les résumés et constitue l'un des choix standards pour l'évaluation de la résumé de texte.
Les deux métriques sont utilisées pour la génération ouverte disposant d'une référence.
Créer de l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.