HyperAIHyperAI

Command Palette

Search for a command to run...

FActScore

Date

FActScore a été proposé en 2023 lors de la conférence EMNLP par une équipe de recherche de l'Université de Washington, de l'Université du Massachusetts à Amherst, de l'Allen Institute for AI et de Meta (Sewon Min et al.), afin de mesurer spécifiquement la précision factuelle de la génération de textes longs. Il décompose d'abord le contenu généré en faits atomiques indépendants, puis vérifie individuellement chaque fait par rapport à des sources de connaissances fiables (telles que Wikipédia) pour déterminer s'ils sont pris en charge. Le score final correspond à la proportion de faits atomiques pris en charge par rapport au total des faits atomiques.

Cet indicateur se concentre uniquement sur la précision et ne calcule pas le rappel. La plage de scores est de 0 à 100, généralement exprimée en pourcentage ou sous forme de score de 0 à 1, où une valeur plus élevée est meilleure, indiquant une plus grande proportion de faits vérifiables dans le contenu généré. Il est couramment utilisé pour évaluer la fiabilité factuelle des grands modèles lors de la génération de biographies de personnalités ou de textes longs de type encyclopédique.

Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp