KITAB ist ein von Microsoft Research im Jahr 2023 veröffentlichtes herausforderndes Datenset zur Bewertung der Fähigkeiten großer Sprachmodelle bei Informationsabrufaufgaben mit eingeschränkter Filterung. Die zugehörige Forschungspublikation ist „KITAB: Evaluating LLMs on Constraint Satisfaction for Information Retrieval". Das Datenset enthält Buchdaten von über 600 Autoren und umfasst mehr als 13.000 Abfragen mit unterschiedlicher Anzahl an Einschränkungen und Komplexitätsgraden. Es zielt darauf ab, die Fähigkeiten von Modellen beim Informationsabruf und bei der Beantwortung unter komplexen Einschränkungen zu testen.

Zusammensetzung des Datensets

• one-book-constraints: Enthält 8.239 Abfragen mit einer einzelnen Einschränkung. Jede Abfrage umfasst Autoreninformationen, Einschränkungstyp, natürliche Spracheinschränkung, die Bücherliste des Autors sowie Bücher, die die Einschränkung erfüllen.
• two-book-constraints: Enthält 4.750 Abfragen mit zwei Einschränkungen, die aus zwei einzelnen Einschränkungen kombiniert werden, um die Fähigkeit des Modells zu bewerten, mehrere Bedingungen gleichzeitig zu erfüllen.
• author-metadata: Enthält Metadaten von 611 Autoren, einschließlich Autorenname, Geburtsjahr, Anzahl der WikiData-Links sowie Open Library- und WikiData-Identifikatoren.

Zitierung

@inproceedings{abdin2023kitab,
  title={KITAB: Evaluating LLMs on Constraint Satisfaction for Information Retrieval},
  author={Abdin, Marah I and Gunasekar, Suriya and Chandrasekaran, Varun and Li, Jerry and Yuksekgonul, Mert and Peshawaria, Rahee Ghosh and Naik, Ranjita and Nushi, Besmira},
  journal={arXiv preprint arXiv:2310.15511},
  year={2023}
}