SCBench 長文脈ベンチマークは、Microsoft が 2024 年にリリースした、効率的な長文脈手法の評価に特化したデータセットです。関連する論文は SCBench: A KV cache-centric analysis of long-context methods です。このデータセットは、KV キャッシュ中心の視点から、長文脈手法が実際のシナリオでどのように機能するかを包括的に評価することを目的としています。

このデータセットは、複数のリクエスト間でコンテキストメモリ（KV キャッシュ）が共有・再利用される状況を対象としており、完全な KV キャッシュのライフサイクル（生成、圧縮、検索、読み込み）における各手法のパフォーマンスを分析します。 データには、コードリポジトリに対する質問応答、マルチターン対話、要約生成、選択タスクなど、さまざまなタスクサブセットが含まれています。すべてのデータは、コンテキスト、マルチターン質問応答、一意な識別子を含む標準形式に変換されており、異なるアテンションメカニズムや KV キャッシュ戦略の有効性をテストするために使用されます。

データセットの構成

データセットは主に以下のサブセットを含みます：

• scbench_choice_eng：58 サンプル、英語のマルチターン選択タスク。
• scbench_kv：100 サンプル、基本的な KV キャッシュテスト。
• scbench_many_shot：54 サンプル、マルチショット学習タスク。
• scbench_mf：100 サンプル、マルチターン対話タスク。
• scbench_prefix_suffix：100 サンプル、プレフィックスとサフィックスのコンテキストタスク。
• scbench_qa_chn：35 サンプル、中国語の質問応答タスク。
• scbench_qa_eng：69 サンプル、英語の質問応答タスク。
• scbench_repoqa：88 サンプル、コードリポジトリに対する質問応答タスク。
• scbench_repoqa_and_kv：88 サンプル、コードリポジトリ質問応答と KV キャッシュ分析を組み合わせたタスク。
• scbench_summary：70 サンプル、テキスト要約タスク。
• scbench_summary_with_needles：70 サンプル、重要情報検索を組み合わせた要約タスク。
• scbench_vt：90 サンプル、特定の検証タスク。

データセットは主に以下のフィールドを含みます：

• id：サンプルの一意な識別子。
• context：コードリポジトリ、ドキュメント、長文テキストなどの長文脈内容。
• multi_turns：マルチターンインタラクションのリスト。各ターンの input と answer を含みます。
• lang：言語情報。一部のサブセットにのみ含まれます。
• repo：コードリポジトリに関する情報。主にコードリポジトリ質問応答タスクで使用されます。
• task：タスクタイプまたは関連情報。一部のサブセットにのみ含まれます。

Citation

@article{li2024scbench,
    title={SCBench: A KV cache-centric analysis of long-context methods},
    author={Li, Yucheng and Jiang, Huiqiang and Wu, Qianhui and Luo, Xufang and Ahn, Surin and Zhang, Chengruidong and Abdi, Amir H and Li, Dongsheng and Gao, Jianfeng and Yang, Yuqing and Qiu, Lili},
    journal={arXiv preprint arXiv:2412.10319},
    year={2024}
}