SCBench Long Context Benchmark는 Microsoft에서 2024년에 공개한 데이터셋으로, 효율적인 장문 컨텍스트 방법의 평가를 전문으로 다루며, 관련 논문 결과는 「SCBench: A KV cache-centric analysis of long-context methods」입니다. 이 벤치마크는 실제 시나리오에서 장문 컨텍스트 방법의 성능을 KV 캐시 중심의 관점에서 종합적으로 평가하는 것을 목표로 합니다.

이 데이터셋은 여러 요청 간에 컨텍스트 메모리(KV 캐시)가 공유되고 재사용되는 상황을 다루며, 방법론들이 완전한 KV 캐시 수명 주기(생성, 압축, 검색 및 로딩)에서 어떻게 작동하는지 분석합니다. 데이터에는 코드 저장소 질의응답, 다중 턴 대화, 요약 생성, 선택 과제 등 다양한 태스크 하위 집합이 포함되어 있습니다. 모든 데이터는 컨텍스트, 다중 턴 질의응답 및 고유 식별자를 포함하는 형식으로 표준화되어, 다양한 어텐션 메커니즘과 KV 캐시 전략의 유효성을 테스트하는 데 사용됩니다.

데이터셋 구성

데이터셋은 다음과 같은 주요 하위 집합을 포함합니다:

• scbench_choice_eng: 58개 샘플, 영어 다중 턴 선택 과제.
• scbench_kv: 100개 샘플, 기본 KV 캐시 테스트.
• scbench_many_shot: 54개 샘플, 다중 예제 학습 과제.
• scbench_mf: 100개 샘플, 다중 턴 대화 과제.
• scbench_prefix_suffix: 100개 샘플, 접두어 및 접미어 컨텍스트 과제.
• scbench_qa_chn: 35개 샘플, 중국어 질의응답 과제.
• scbench_qa_eng: 69개 샘플, 영어 질의응답 과제.
• scbench_repoqa: 88개 샘플, 코드 저장소 질의응답 과제.
• scbench_repoqa_and_kv: 88개 샘플, 코드 저장소 질의응답과 KV 캐시 분석을 결합한 과제.
• scbench_summary: 70개 샘플, 텍스트 요약 과제.
• scbench_summary_with_needles: 70개 샘플, 핵심 정보 검색을 결합한 요약 과제.
• scbench_vt: 90개 샘플, 특정 검증 과제.

데이터셋은 다음과 같은 주요 필드를 포함합니다:

• id: 샘플의 고유 식별자.
• context: 코드 저장소, 문서 또는 긴 텍스트와 같은 장문 컨텍스트 내용.
• multi_turns: 각 턴별 대화의 input과 answer를 포함하는 다중 턴 상호작용 목록.
• lang: 언어 정보, 일부 하위 집합에 포함됨.
• repo: 코드 저장소 관련 정보, 주로 코드 저장소 질의응답 과제에 사용됨.
• task: 과제 유형 또는 관련 정보, 일부 하위 집합에 포함됨.

Citation

@article{li2024scbench,
    title={SCBench: A KV cache-centric analysis of long-context methods},
    author={Li, Yucheng and Jiang, Huiqiang and Wu, Qianhui and Luo, Xufang and Ahn, Surin and Zhang, Chengruidong and Abdi, Amir H and Li, Dongsheng and Gao, Jianfeng and Yang, Yuqing and Qiu, Lili},
    journal={arXiv preprint arXiv:2412.10319},
    year={2024}
}