يُعدّ SCBench معيارًا طويلاً للسياق، وهو مجموعة بيانات نُشرت من قبل شركة Microsoft في عام 2024، وتُركّز على تقييم أساليب المعالجة الفعّالة للسياق الطويل. تستند النتائج الأكاديمية المرتبطة به إلى الورقة البحثية «SCBench: A KV cache-centric analysis of long-context methods»، وتهدف إلى التقييم الشامل لأداء أساليب السياق الطويل في سيناريوهات واقعية من منظور يركز على ذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache).

تحلّل هذه المجموعة أداء الأساليب عبر دورة الحياة الكاملة لذاكرة التخزين المؤقت للمفاتيح والقيم (الإنشاء، الضغط، الاسترجاع، والتحميل)، مع التركيز على حالات مشاركة ذاكرة السياق (KV cache) وإعادة استخدامها بين طلبات متعددة. تشمل البيانات عدة مجموعات فرعية من المهام، مثل الإجابة على الأسئلة حول مستودعات الشيفرة البرمجية، والمحادثات متعددة الأدوار، وتلخيص النصوص، ومهام الاختيار من متعدد. وقد تم توحيد جميع البيانات في صيغة تتضمن السياق، والمحادثات متعددة الأدوار، ومعرّفات فريدة، وذلك لاختبار فعالية آليات الانتباه المختلفة واستراتيجيات ذاكرة التخزين المؤقت للمفاتيح والقيم.

تكوين مجموعة البيانات

تتضمن مجموعة البيانات بشكل أساسي المجموعات الفرعية التالية:

• scbench_choice_eng: 58 عينة، مهام اختيار من متعدد باللغة الإنجليزية متعددة الأدوار.
• scbench_kv: 100 عينة، اختبار أساسي لذاكرة التخزين المؤقت للمفاتيح والقيم.
• scbench_many_shot: 54 عينة، مهام التعلم من أمثلة متعددة.
• scbench_mf: 100 عينة، مهام المحادثة متعددة الأدوار.
• scbench_prefix_suffix: 100 عينة، مهام السياق ذو البادئة واللاحقة.
• scbench_qa_chn: 35 عينة، مهام الإجابة على الأسئلة باللغة الصينية.
• scbench_qa_eng: 69 عينة، مهام الإجابة على الأسئلة باللغة الإنجليزية.
• scbench_repoqa: 88 عينة، مهام الإجابة على الأسئلة حول مستودعات الشيفرة البرمجية.
• scbench_repoqa_and_kv: 88 عينة، مهام تجمع بين الإجابة على الأسئلة حول المستودعات وتحليل ذاكرة التخزين المؤقت للمفاتيح والقيم.
• scbench_summary: 70 عينة، مهام تلخيص النصوص.
• scbench_summary_with_needles: 70 عينة، مهام التلخيص المتضمنة استرجاع معلومات رئيسية.
• scbench_vt: 90 عينة، مهام تحقق محددة.

تتضمن مجموعة البيانات بشكل أساسي الحقول التالية:

• id: المعرّف الفريد للعينة.
• context: محتوى السياق الطويل، مثل مستودعات الشيفرة البرمجية، أو المستندات، أو النصوص الطويلة.
• multi_turns: قائمة بالتفاعلات متعددة الأدوار، تتضمن المدخلات (input) والإجابات (answer) لكل جولة من المحادثة.
• lang: معلومات اللغة، متوفرة في بعض المجموعات الفرعية.
• repo: معلومات متعلقة بمستودع الشيفرة البرمجية، تُستخدم بشكل أساسي في مهام الإجابة على الأسئلة حول المستودعات.
• task: نوع المهمة أو معلومات ذات صلة، متوفرة في بعض المجموعات الفرعية.

الاستشهاد

@article{li2024scbench,
    title={SCBench: A KV cache-centric analysis of long-context methods},
    author={Li, Yucheng and Jiang, Huiqiang and Wu, Qianhui and Luo, Xufang and Ahn, Surin and Zhang, Chengruidong and Abdi, Amir H and Li, Dongsheng and Gao, Jianfeng and Yang, Yuqing and Qiu, Lili},
    journal={arXiv preprint arXiv:2412.10319},
    year={2024}
}