L'ensemble de données Pinocchio a été créé conjointement par des chercheurs de l'Université Tsinghua, de l'Université de l'Illinois à Chicago et de l'Université de Cambridge. Son objectif est d’évaluer de manière exhaustive les performances des grands modèles de langage (LLM) en matière de stockage de connaissances factuelles et de capacités de raisonnement.

Cet ensemble de données couvre 20 000 questions factuelles diverses couvrant différentes sources, chronologies, domaines, régions et langues.L'ensemble de données contient 7 tâches différentes pour tester la capacité des LLM à raisonner de manière multi-factuelle, à traiter des connaissances structurées et non structurées, à identifier des différences factuelles subtiles et à résister aux exemples contradictoires. Pinocchio fournit aux chercheurs un outil puissant pour comprendre les capacités des modèles à plusieurs niveaux tout en faisant progresser le développement des LLM en termes de connaissances factuelles.