KITAB은 Microsoft Research가 2023년에 발표한, 대규모 언어 모델의 제약 조건이 있는 필터링 기반 정보 검색 작업 능력을 평가하기 위한 도전형 데이터셋입니다. 관련 논문 성과는 「KITAB: Evaluating LLMs on Constraint Satisfaction for Information Retrieval」이며, 이 데이터셋은 600명 이상의 저자 관련 데이터를 포함하고 있으며, 다양한 수와 복잡도의 제약 조건을 가진 13,000개 이상의 쿼리를 포함합니다. 복잡한 제약 조건 하에서 정보 검색 및 응답 능력을 테스트하는 것을 목표로 합니다.

데이터셋 구성

• one-book-constraints: 8,239개의 단일 제약 쿼리를 포함하며, 각 쿼리에는 저자 정보, 제약 유형, 자연어 제약, 저자 도서 목록 및 제약을 충족하는 도서가 포함됩니다.
• two-book-constraints: 4,750개의 이중 제약 쿼리를 포함하며, 두 개의 단일 제약이 결합되어 구성되어, 모델이 여러 조건을 동시에 충족하는 능력을 평가합니다.
• author-metadata: 611명의 저자 메타데이터를 포함하며, 저자 이름, 출생 연도, WikiData 링크 수, Open Library 및 WikiData 식별자가 포함됩니다.

인용

@inproceedings{abdin2023kitab,
  title={KITAB: Evaluating LLMs on Constraint Satisfaction for Information Retrieval},
  author={Abdin, Marah I and Gunasekar, Suriya and Chandrasekaran, Varun and Li, Jerry and Yuksekgonul, Mert and Peshawaria, Rahee Ghosh and Naik, Ranjita and Nushi, Besmira},
  journal={arXiv preprint arXiv:2310.15511},
  year={2023}
}