ChatQA 2 Long SFT Data는 NVIDIA가 2024년에 발표한 장기 컨텍스트 대화 질의응답 및 검색 증강 생성(RAG) 성능에 특화된 데이터셋으로, 관련 논문 성과는 「ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities」이며, 대규모 언어 모델이 장기 컨텍스트 및 복잡한 다중 턴 대화 작업에서의 성능을 향상시키는 것을 목표로 합니다.

그중 long_sft 하위 집합은 LongAlpaca12k, Open Orca의 GPT-4 샘플 및 Long Data Collections에서 파생되었으며, NarrativeQA_131072 하위 집합은 NarrativeQA를 기반으로 주어진 실제 요약과 관련된 단락을 추가하여 합성 생성되었습니다. 이 데이터셋은 ChatQA-2 모델의 전체 장기 컨텍스트 지도 미세 조정(SFT) 훈련 데이터로, 주로 long_sft와 NarrativeQA_131072 두 가지 하위 집합으로 구성됩니다. 데이터 형식은 JSON이며, 훈련 세트와 테스트 세트를 포함하여 모델의 지시 미세 조정 단계에 사용됩니다.

데이터셋 구성

데이터셋은 다음 두 가지 주요 구성(하위 집합)을 포함합니다:

• long_sft: 기존 데이터셋에서 파생된 장기 컨텍스트 지도 미세 조정 데이터로, 장기 텍스트 대화에서 모델의 이해 및 생성 능력을 향상시키는 데 사용됩니다.

  • 훈련 세트: long_sft/long_sft_QA_train.json
  • 테스트 세트: long_sft/long_sft_QA_dev.json

• NarrativeQA_131072: NarrativeQA 데이터셋을 기반으로 합성 생성된 장기 컨텍스트 질의응답 데이터로, 관련 단락을 추가하여 컨텍스트 정보를 확장합니다.

  • 훈련 세트: NarrativeQA_131072/NarrativeQA_131072_QA_train.json
  • 테스트 세트: NarrativeQA_131072/NarrativeQA_131072_QA_dev.json

Citation

@article{xu2024chatqa,
  title={ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities},
  author={Xu, Peng and Ping, Wei and Wu, Xianchao and Liu, Zihan and Shoeybi, Mohammad and Catanzaro, Bryan},
  journal={arXiv preprint arXiv:2407.14482},
  year={2024}
}