Pinocchio 匹诺曹事实知识评估数据集

Pinocchio 数据集是由清华大学、伊利诺伊大学芝加哥分校和剑桥大学的研究人员联合创建的，其目的在于全方位评测大型语言模型 (LLMs) 在事实知识存储以及推理能力上的表现。

此数据集涵盖了 20,000 个各式各样的事实问题，这些问题涉及到不同的来源、时间线、领域、地区和语言。该数据集包含了 7 个不同的任务，用于测试 LLMs 在多事实推理、处理结构化与非结构化知识、识别细微事实差异以及抵御对抗性示例等方面的能力。 Pinocchio 为研究人员提供了一个强有力的工具，以便了解模型在多个层面的能力，同时推动 LLMs 在事实知识方面的发展。