データセット概要

ChatQA 2 Long SFT Data は、NVIDIA が 2024年に公開した長文コンテキストの対話型質問応答および検索拡張生成（RAG）機能に特化したデータセットです。関連論文は「ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities」で発表されており、大規模言語モデルが長文コンテキストや複雑なマルチターン会話タスクを処理する際の性能向上を目指しています。

このうち long_sft サブセットは、LongAlpaca12k、Open Orca の GPT-4 由来サンプル、Long Data Collections から派生しています。また、NarrativeQA_131072 サブセットは、NarrativeQA を基盤とし、与えられた正解要約に関連するパラグラフを追加することで合成されています。

本データセットは ChatQA-2 モデルにおけるフル長の文脈に対する教師あり微調整（SFT）用の訓練データを構成しており、主に以下の2つのサブセットを含みます：long_sft と NarrativeQA_131072。

データ形式は JSON で、訓練用と検証用に分割されたセットが含まれており、モデルのインストラクションファインチューニングフェーズで使用されます。

データセットの構成

データセットには、以下の2つの主要な設定（サブセット）が含まれます：

long_sft

既存のデータセットから抽出された長文コンテキスト向けの教師あり微調整データであり、モデルの長文対話における理解力と生成力を高めることを目的としています。

• 訓練用：long_sft/long_sft_QA_train.json
• 検証用：long_sft/long_sft_QA_dev.json

NarrativeQA_131072

NarrativeQA データセットに基づいて合成生成された長文コンテキストの質問応答データであり、関連するパラagraphを追加して文脈情報を強化しています。

• 訓練用：NarrativeQA_131072/NarrativeQA_131072_QA_train.json
• 検証用：NarrativeQA_131072/NarrativeQA_131072_QA_dev.json

引用情報

@article{xu2024chatqa,
  title={ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities},
  author={Xu, Peng and Ping, Wei and Wu, Xianchao and Liu, Zihan and Shoeybi, Mohammad and Catanzaro, Bryan},
  journal={arXiv preprint arXiv:2407.14482},
  year={2024}
}