SCBench est un ensemble de données de référence pour les contextes longs, publié par Microsoft en 2024, dédié à l'évaluation efficace des méthodes de gestion des contextes longs. Les résultats associés sont présentés dans l'article «SCBench: A KV cache-centric analysis of long-context methods», et son objectif est d'évaluer de manière exhaustive les performances des méthodes de contextes longs dans des scénarios réels, en adoptant une perspective centrée sur le cache KV.

Cet ensemble de données analyse les performances des méthodes tout au long du cycle de vie complet du cache KV (génération, compression, récupération et chargement), en se concentrant sur la réutilisation et le partage de la mémoire de contexte (cache KV) entre plusieurs requêtes. Il comprend plusieurs sous-ensembles de tâches, couvrant les questions-réponses sur des dépôts de code, les dialogues multi-tours, la génération de résumés, les tâches de sélection, etc. Toutes les données sont normalisées dans un format contenant le contexte, les questions-réponses multi-tours et un identifiant unique, afin de tester l'efficacité de différents mécanismes d'attention et stratégies de cache KV.

Composition de l'ensemble de données

L'ensemble de données comprend principalement les sous-ensembles suivants :

• scbench_choice_eng : 58 échantillons, tâches de sélection en anglais multi-tours.
• scbench_kv : 100 échantillons, tests de base sur le cache KV.
• scbench_many_shot : 54 échantillons, tâches d'apprentissage à plusieurs exemples.
• scbench_mf : 100 échantillons, tâches de dialogue multi-tours.
• scbench_prefix_suffix : 100 échantillons, tâches de contexte préfixe et suffixe.
• scbench_qa_chn : 35 échantillons, tâches de questions-réponses en chinois.
• scbench_qa_eng : 69 échantillons, tâches de questions-réponses en anglais.
• scbench_repoqa : 88 échantillons, tâches de questions-réponses sur des dépôts de code.
• scbench_repoqa_and_kv : 88 échantillons, tâches combinant questions-réponses sur des dépôts de code et analyse du cache KV.
• scbench_summary : 70 échantillons, tâches de résumé de texte.
• scbench_summary_with_needles : 70 échantillons, tâches de résumé intégrant la récupération d'informations clés.
• scbench_vt : 90 échantillons, tâches de validation spécifiques.

L'ensemble de données comprend principalement les champs suivants :

• id : Identifiant unique de l'échantillon.
• context : Contenu du contexte long, tel que des dépôts de code, des documents ou des textes longs.
• multi_turns : Liste des interactions multi-tours, incluant l'input et la réponse pour chaque tour de dialogue.
• lang : Informations linguistiques, présentes dans certains sous-ensembles.
• repo : Informations relatives au dépôt de code, principalement utilisées pour les tâches de questions-réponses sur des dépôts de code.
• task : Type de tâche ou informations associées, présentes dans certains sous-ensembles.

Citation

@article{li2024scbench,
    title={SCBench: A KV cache-centric analysis of long-context methods},
    author={Li, Yucheng and Jiang, Huiqiang and Wu, Qianhui and Luo, Xufang and Ahn, Surin and Zhang, Chengruidong and Abdi, Amir H and Li, Dongsheng and Gao, Jianfeng and Yang, Yuqing and Qiu, Lili},
    journal={arXiv preprint arXiv:2412.10319},
    year={2024}
}