Pinocchio 数据集是由清华大学、伊利诺伊大学芝加哥分校和剑桥大学的研究人员联合创建的，其目的在于全方位评测大型语言模型 (LLMs) 在事实知识存储以及推理能力上的表现。 **此数据集涵盖了 20,000 个各式各样的事实问题，这些问题涉及到不同的来源、时间线、领域、地区和语言。**该数据集包含了 7 个不同的任务，用于测试 LLMs 在多事实推理、处理结构化与非结构化知识、识别细微事实差异以及抵御对抗性示例等方面的能力。 Pinocchio 为研究人员提供了一个强有力的工具，以便了解模型在多个层面的能力，同时推动 LLMs 在事实知识方面的发展。

Citation

Please use the below BibTeX entry to cite this dataset:

@article{HuPino2023,
author = {Xuming Hu and
Junzhe Chen and
Xiaochuan Li and
Yufei Guo and
Lijie Wen and
Philip S. Yu and
Zhijiang Guo},
title = {Towards Understanding Factual Knowledge of Large Language Models},
journal = {12th International Conference on Learning Representations, {ICLR} 2024, Messe Wien Exhibition and Congress Center, Vienna Austria
May 7th, 2024 to May 11th, 2024},
volume = {2024},
year = {2024},
url = {https://doi.org/10.48550/arXiv.2310.05177},
doi = {10.48550/ARXIV.2310.05177},
eprinttype = {arXiv},
eprint = {2310.05177},
timestamp = {Fri, 20 Oct 2023 12:04:38 +0200},
biburl = {https://dblp.org/rec/journals/corr/abs-2310-05177.bib},
bibsource = {dblp computer science bibliography, https://dblp.org}
}