数据集概述

ChatQA 2 Long SFT Data 是由 NVIDIA 于 2024 年发布的一个专注于长上下文对话问答与检索增强生成（RAG）能力的数据集，相关论文成果为「ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities」，旨在提升大语言模型在处理长上下文及复杂多轮对话任务中的表现。

其中 long_sft 子集衍生自 LongAlpaca12k、Open Orca 中的 GPT-4 样本以及 Long Data Collections；NarrativeQA_131072 子集则是在 NarrativeQA 基础上，通过添加与给定真实摘要相关的段落合成生成。 该数据集是 ChatQA-2 模型全量长上下文监督微调（SFT）训练数据，主要包含两个子集：long_sft 和 NarrativeQA_131072。 数据格式为 JSON，包含训练集和测试集，用于模型的指令微调阶段。

数据集组成

数据集包含以下两个主要配置（子集）：

long_sft

源自现有数据集的长上下文监督微调数据，用于提升模型在长文本对话中的理解与生成能力。

• 训练集：long_sft/long_sft_QA_train.json
• 测试集：long_sft/long_sft_QA_dev.json

NarrativeQA_131072

基于 NarrativeQA 数据集合成生成的长上下文问答数据，通过增加相关段落增强上下文信息。

• 训练集：NarrativeQA_131072/NarrativeQA_131072_QA_train.json
• 测试集：NarrativeQA_131072/NarrativeQA_131072_QA_dev.json

Citation

@article{xu2024chatqa,
  title={ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities},
  author={Xu, Peng and Ping, Wei and Wu, Xianchao and Liu, Zihan and Shoeybi, Mohammad and Catanzaro, Bryan},
  journal={arXiv preprint arXiv:2407.14482},
  year={2024}
}