Der Pinocchio-Datensatz wurde gemeinsam von Forschern der Tsinghua-Universität, der University of Illinois in Chicago und der University of Cambridge erstellt. Sein Zweck besteht darin, die Leistung großer Sprachmodelle (LLMs) bei der Speicherung von Faktenwissen und den Denkfähigkeiten umfassend zu bewerten. **Dieser Datensatz umfasst 20.000 verschiedene Sachfragen zu unterschiedlichen Quellen, Zeitlinien, Domänen, Regionen und Sprachen.**Der Datensatz enthält 7 verschiedene Aufgaben zum Testen der Fähigkeiten von LLMs zum multifaktischen Denken, zur Verarbeitung strukturierten und unstrukturierten Wissens, zur Identifizierung subtiler faktischer Unterschiede und zur Widerstandsfähigkeit gegenüber kontroversen Beispielen. Pinocchio bietet Forschern ein leistungsstarkes Tool, um die Fähigkeiten von Modellen auf mehreren Ebenen zu verstehen und gleichzeitig die Entwicklung von LLMs im Hinblick auf Faktenwissen voranzutreiben.

Zitat

Bitte verwenden Sie den folgenden BibTeX-Eintrag, um diesen Datensatz zu zitieren:

@article{HuPino2023,
Autor = {Xuming Hu und
Junzhe Chen und
Xiaochuan Li und
Yufei Guo und
Lijie Wen und
Philip S. Yu und
Zhijiang Guo},
Titel = {Zum Verständnis des faktischen Wissens großer Sprachmodelle},
Zeitschrift = 12. Internationale Konferenz über Lernrepräsentationen, ICLR 2024, Messe Wien, Österreich
7. Mai 2024 bis 11. Mai 2024},
Volumen = {2024},
Jahr = {2024},
url = {https://doi.org/10.48550/arXiv.2310.05177},
doi = {10.48550/ARXIV.2310.05177},
eprinttype = {arXiv},
eprint = {2310.05177},
Zeitstempel = {Fr., 20. Okt. 2023 12:04:38 +0200},
biburl = {https://dblp.org/rec/journals/corr/abs-2310-05177.bib},
bibsource = {dblp computer science bibliography, https://dblp.org}
}