KITAB est un ensemble de données de défi publié par Microsoft Research en 2023, conçu pour évaluer la capacité des grands modèles de langage dans les tâches de recherche d'informations avec contraintes filtrées. Le document de recherche associé est « KITAB: Evaluating LLMs on Constraint Satisfaction for Information Retrieval », et cet ensemble de données comprend des données liées aux livres de plus de 600 auteurs, couvrant plus de 13 000 requêtes avec différents nombres de contraintes et niveaux de complexité. Il vise à tester la capacité des modèles à rechercher et répondre à des informations dans des conditions de contraintes complexes.

Composition de l'ensemble de données

• one-book-constraints : comprend 8 239 requêtes à contrainte unique, chaque requête contenant des informations sur l'auteur, le type de contrainte, la contrainte en langage naturel, la liste des livres de l'auteur et les livres satisfaisant la contrainte.
• two-book-constraints : comprend 4 750 requêtes à double contrainte, formées par la combinaison de deux contraintes uniques, pour évaluer la capacité du modèle à satisfaire simultanément plusieurs conditions.
• author-metadata : comprend les métadonnées de 611 auteurs, y compris le nom de l'auteur, l'année de naissance, le nombre de liens WikiData ainsi que les identifiants Open Library et WikiData.

Citation

@inproceedings{abdin2023kitab,
  title={KITAB: Evaluating LLMs on Constraint Satisfaction for Information Retrieval},
  author={Abdin, Marah I and Gunasekar, Suriya and Chandrasekaran, Varun and Li, Jerry and Yuksekgonul, Mert and Peshawaria, Rahee Ghosh and Naik, Ranjita and Nushi, Besmira},
  journal={arXiv preprint arXiv:2310.15511},
  year={2023}
}