KITAB は、Microsoft Research が2023年に発表した、大規模言語モデルの制約付きフィルタリングを伴う情報検索タスクにおける能力を評価するための挑戦的なデータセットであり、関連する論文成果は「KITAB: Evaluating LLMs on Constraint Satisfaction for Information Retrieval」です。このデータセットには、600人以上の著者からの書籍関連データが含まれており、異なる数の制約と複雑さを持つ13,000以上のクエリが含まれています。 複雑な制約条件下での情報検索と回答能力におけるモデルの処理をテストすることを目的としています。

データセット構成

• one-book-constraints：8,239件の単一制約クエリが含まれており、各クエリには著者情報、制約タイプ、自然言語の制約、著者の書籍リスト、および制約を満たす書籍が含まれています。
• two-book-constraints：4,750件の二重制約クエリが含まれており、2つの単一制約を組み合わせて構成され、モデルが複数の条件を同時に満たす能力を評価するために使用されます。
• author-metadata：611人の著者のメタデータが含まれており、著者名、生年、WikiDataリンク数、およびOpen LibraryとWikiDataの識別子が含まれています。

引用

@inproceedings{abdin2023kitab,
  title={KITAB: Evaluating LLMs on Constraint Satisfaction for Information Retrieval},
  author={Abdin, Marah I and Gunasekar, Suriya and Chandrasekaran, Varun and Li, Jerry and Yuksekgonul, Mert and Peshawaria, Rahee Ghosh and Naik, Ranjita and Nushi, Besmira},
  journal={arXiv preprint arXiv:2310.15511},
  year={2023}
}