Der Pinocchio-Datensatz wurde gemeinsam von Forschern der Tsinghua-Universität, der University of Illinois in Chicago und der University of Cambridge erstellt. Sein Zweck besteht darin, die Leistung großer Sprachmodelle (LLMs) bei der Speicherung von Faktenwissen und den Denkfähigkeiten umfassend zu bewerten.

Dieser Datensatz umfasst 20.000 verschiedene Sachfragen zu unterschiedlichen Quellen, Zeitlinien, Domänen, Regionen und Sprachen.Der Datensatz enthält 7 verschiedene Aufgaben zum Testen der Fähigkeiten von LLMs zum multifaktischen Denken, zur Verarbeitung strukturierten und unstrukturierten Wissens, zur Identifizierung subtiler faktischer Unterschiede und zur Widerstandsfähigkeit gegenüber kontroversen Beispielen. Pinocchio bietet Forschern ein leistungsstarkes Tool, um die Fähigkeiten von Modellen auf mehreren Ebenen zu verstehen und gleichzeitig die Entwicklung von LLMs im Hinblick auf Faktenwissen voranzutreiben.