SCBench 长上下文基准测试是由 Microsoft 于 2024 年发布的一个专注于高效长上下文方法评估的数据集，相关论文成果为「SCBench: A KV cache-centric analysis of long-context methods」，旨在从 KV cache 中心视角全面评估长上下文方法在真实场景中的性能。

该数据集针对上下文内存（KV cache）在多个请求间共享和重用的情况，分析了方法在完整 KV cache 生命周期（生成、压缩、检索和加载）中的表现。 数据包含多种任务子集，涵盖代码仓库问答、多轮对话、摘要生成、选择任务等，所有数据标准化为包含上下文、多轮问答及唯一标识的格式，用于测试不同注意力机制和 KV cache 策略的有效性。

数据集组成

数据集主要包含以下子集：

• scbench_choice_eng：58 个样本，英文多轮选择任务。
• scbench_kv：100 个样本，基础 KV cache 测试。
• scbench_many_shot：54 个样本，多示例学习任务。
• scbench_mf：100 个样本，多轮对话任务。
• scbench_prefix_suffix：100 个样本，前缀与后缀上下文任务。
• scbench_qa_chn：35 个样本，中文问答任务。
• scbench_qa_eng：69 个样本，英文问答任务。
• scbench_repoqa：88 个样本，代码仓库问答任务。
• scbench_repoqa_and_kv：88 个样本，结合代码仓库问答与 KV cache 分析的任务。
• scbench_summary：70 个样本，文本摘要任务。
• scbench_summary_with_needles：70 个样本，结合关键信息检索的摘要任务。
• scbench_vt：90 个样本，特定验证任务。

数据集主要包含以下字段：

• id：样本的唯一标识。
• context：长上下文内容，如代码仓库、文档或长文本。
• multi_turns：多轮交互列表，包含每轮对话的 input 和 answer。
• lang：语言信息，部分子集包含。
• repo：代码仓库相关信息，主要用于代码仓库问答任务。
• task：任务类型或相关信息，部分子集包含。

Citation

@article{li2024scbench,
    title={SCBench: A KV cache-centric analysis of long-context methods},
    author={Li, Yucheng and Jiang, Huiqiang and Wu, Qianhui and Luo, Xufang and Ahn, Surin and Zhang, Chengruidong and Abdi, Amir H and Li, Dongsheng and Gao, Jianfeng and Yang, Yuqing and Qiu, Lili},
    journal={arXiv preprint arXiv:2412.10319},
    year={2024}
}