KITAB هو مجموعة بيانات تحدّية صادرة عن Microsoft Research في عام 2023، تُستخدم لتقييم قدرة نماذج اللغة الكبيرة على مهام استرجاع المعلومات مع قيود مفلترة، وتتعلق النتائج البحثية ذات الصلة بـ «KITAB: Evaluating LLMs on Constraint Satisfaction for Information Retrieval»، وتحتوي هذه المجموعة على بيانات متعلقة بكتب من أكثر من 600 مؤلف، وتشمل أكثر من 13,000 استعلامًا بعدد متفاوت من القيود والتعقيدات. ويهدف إلى اختبار قدرة النماذج على استرجاع المعلومات والإجابة عليها في ظل ظروف قيود معقدة.

تكوين مجموعة البيانات

• قيود كتاب واحد: يحتوي على 8,239 استعلامًا بقيود مفردة، ويتضمن كل استعلام معلومات المؤلف ونوع القيد والقيود اللغوية الطبيعية وقائمة كتب المؤلف والكتب التي تفي بالقيود.
• قيود كتابين: يحتوي على 4,750 استعلامًا بقيود مزدوجة، ويتكون من دمج قيدين مفردين، ويُستخدم لتقييم قدرة النموذج على تلبية شروط متعددة في وقت واحد.
• بيانات المؤلف الوصفية: يحتوي على بيانات وصفية لـ 611 مؤلفًا، بما في ذلك اسم المؤلف وسنة الميلاد وعدد روابط WikiData ومعرّفات Open Library وWikiData.

الاقتباس

@inproceedings{abdin2023kitab,
  title={KITAB: Evaluating LLMs on Constraint Satisfaction for Information Retrieval},
  author={Abdin, Marah I and Gunasekar, Suriya and Chandrasekaran, Varun and Li, Jerry and Yuksekgonul, Mert and Peshawaria, Rahee Ghosh and Naik, Ranjita and Nushi, Besmira},
  journal={arXiv preprint arXiv:2310.15511},
  year={2023}
}