KITAB 是由 Microsoft Research 于 2023 年发布的一个用于评估大语言模型在带约束过滤的信息检索任务中能力的挑战型数据集，相关论文成果为「KITAB: Evaluating LLMs on Constraint Satisfaction for Information Retrieval」，该数据集包含来自 600 多位作者的书籍相关数据，涵盖 13,000 多个带有不同数量约束和复杂度的查询。 旨在测试模型在处理复杂约束条件下的信息检索与回答能力。

数据集组成

• one-book-constraints：包含 8,239 个单约束查询，每个查询包含作者信息、约束类型、自然语言约束、作者书籍列表以及满足约束的书籍。
• two-book-constraints：包含 4,750 个双约束查询，由两个单约束组合而成，用于评估模型同时满足多个条件的能力。
• author-metadata：包含 611 位作者的元数据，包括作者姓名、出生年份、WikiData 链接数量以及 Open Library 和 WikiData 标识符。

Citation

@inproceedings{abdin2023kitab,
  title={KITAB: Evaluating LLMs on Constraint Satisfaction for Information Retrieval},
  author={Abdin, Marah I and Gunasekar, Suriya and Chandrasekaran, Varun and Li, Jerry and Yuksekgonul, Mert and Peshawaria, Rahee Ghosh and Naik, Ranjita and Nushi, Besmira},
  journal={arXiv preprint arXiv:2310.15511},
  year={2023}
}