Der SCBench Long-Context-Benchmark ist ein von Microsoft im Jahr 2024 veröffentlichter Datensatz, der sich auf die Bewertung effizienter Long-Context-Methoden konzentriert. Die zugehörige Veröffentlichung finden Sie unter SCBench: A KV cache-centric analysis of long-context methods. Ziel des Benchmarks ist die umfassende Bewertung der Leistung von Long-Context-Methoden in realistischen Szenarien aus der Perspektive des KV-Caches.

Der Datensatz analysiert die Leistung von Methoden über den gesamten Lebenszyklus des KV-Caches (Erzeugung, Komprimierung, Abruf und Laden) hinweg, insbesondere in Situationen, in denen der Kontextspeicher (KV-Cache) zwischen mehreren Anfragen geteilt und wiederverwendet wird. Die Daten umfassen verschiedene Teilmengen von Aufgaben, darunter Fragen und Antworten zu Code-Repositories, Multi-Turn-Gespräche, Zusammenfassungsgenerierung, Auswahlaufgaben und mehr. Alle Daten sind in einem standardisierten Format gespeichert, das Kontext, Multi-Turn-Frage-Antwort-Paare sowie eindeutige Kennungen enthält, um die Wirksamkeit unterschiedlicher Attention-Mechanismen und KV-Cache-Strategien zu testen.

Zusammensetzung des Datensatzes

Der Datensatz enthält hauptsächlich die folgenden Teilmengen:

• scbench_choice_eng: 58 Beispiele, englische Multi-Turn-Auswahlaufgaben.
• scbench_kv: 100 Beispiele, grundlegende Tests zum KV-Cache.
• scbench_many_shot: 54 Beispiele, Multi-Shot-Learning-Aufgaben.
• scbench_mf: 100 Beispiele, Multi-Turn-Gesprächsaufgaben.
• scbench_prefix_suffix: 100 Beispiele, Aufgaben mit Präfix- und Suffix-Kontext.
• scbench_qa_chn: 35 Beispiele, chinesische Frage-Antwort-Aufgaben.
• scbench_qa_eng: 69 Beispiele, englische Frage-Antwort-Aufgaben.
• scbench_repoqa: 88 Beispiele, Frage-Antwort-Aufgaben zu Code-Repositories.
• scbench_repoqa_and_kv: 88 Beispiele, Aufgaben, die Frage-Antwort-Aufgaben zu Code-Repositories mit KV-Cache-Analysen kombinieren.
• scbench_summary: 70 Beispiele, Textzusammenfassungsaufgaben.
• scbench_summary_with_needles: 70 Beispiele, Zusammenfassungsaufgaben kombiniert mit der Suche nach Schlüsselinformationen.
• scbench_vt: 90 Beispiele, spezifische Validierungsaufgaben.

Der Datensatz enthält hauptsächlich die folgenden Felder:

• id: Die eindeutige Kennung des Beispiels.
• context: Der lange Kontextinhalt, z. B. Code-Repositories, Dokumente oder lange Texte.
• multi_turns: Eine Liste der Multi-Turn-Interaktionen, die Eingabe („input“) und Antwort („answer“) jeder Gesprächsrunde enthält.
• lang: Sprachinformationen, in einigen Teilmengen enthalten.
• repo: Informationen zum Code-Repository, hauptsächlich für Frage-Antwort-Aufgaben zu Code-Repositories.
• task: Der Aufgabentyp oder relevante Informationen, in einigen Teilmengen enthalten.

Zitation

@article{li2024scbench,
    title={SCBench: A KV cache-centric analysis of long-context methods},
    author={Li, Yucheng and Jiang, Huiqiang and Wu, Qianhui and Luo, Xufang and Ahn, Surin and Zhang, Chengruidong and Abdi, Amir H and Li, Dongsheng and Gao, Jianfeng and Yang, Yuqing and Qiu, Lili},
    journal={arXiv preprint arXiv:2412.10319},
    year={2024}
}