ChatQA 2 Long SFT Data は、NVIDIA が 2024 年に公開した、長いコンテキストでの対話型質問応答と検索拡張生成（RAG）機能に焦点を当てたデータセットであり、関連する論文成果は「ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities」です。大規模言語モデルが長いコンテキストや複雑なマルチターン対話タスクを処理する際の性能向上を目的としています。

その中で、long_sft サブセットは LongAlpaca12k、Open Orca 内の GPT-4 サンプル、および Long Data Collections から派生しています。NarrativeQA_131072 サブセットは NarrativeQA に基づいて、指定された真実の要約に関連する段落を追加して合成生成されたものです。 このデータセットは ChatQA-2 モデルのフルスケールの長いコンテキストでの教師ありファインチューニング（SFT）トレーニングデータであり、主に long_sft と NarrativeQA_131072 の2つのサブセットで構成されています。 データ形式は JSON で、トレーニングセットとテストセットが含まれており、モデルの指示チューニング段階で使用されます。

データセット構成

データセットには、以下の2つの主要な構成（サブセット）が含まれています：

• long_sft：既存のデータセットから派生した長いコンテキストでの教師ありファインチューニングデータで、長いテキスト対話におけるモデルの理解力と生成能力を向上させるために使用されます。

  • トレーニングセット：long_sft/long_sft_QA_train.json
  • テストセット：long_sft/long_sft_QA_dev.json

• NarrativeQA_131072：NarrativeQA データセットに基づいて合成生成された長いコンテキストでの質問応答データで、関連する段落を追加してコンテキスト情報を拡張します。

  • トレーニングセット：NarrativeQA_131072/NarrativeQA_131072_QA_train.json
  • テストセット：NarrativeQA_131072/NarrativeQA_131072_QA_dev.json

Citation

@article{xu2024chatqa,
  title={ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities},
  author={Xu, Peng and Ping, Wei and Wu, Xianchao and Liu, Zihan and Shoeybi, Mohammad and Catanzaro, Bryan},
  journal={arXiv preprint arXiv:2407.14482},
  year={2024}
}