ChatQA 2 Long SFT Data ist ein von NVIDIA im Jahr 2024 veröffentlichtes Datenset, das sich auf langkontextbezogene Dialogfragen und Antworten sowie Retrieval-Augmented Generation (RAG) konzentriert. Die zugehörige Forschungsergebnis ist „ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities", das darauf abzielt, die Leistung großer Sprachmodelle bei der Verarbeitung von langen Kontexten und komplexen Mehrfachdialogaufgaben zu verbessern.

Das long_sft-Unterdatenset stammt aus LongAlpaca12k, GPT-4-Beispielen in Open Orca sowie Long Data Collections; das NarrativeQA_131072-Unterdatenset wird auf Basis von NarrativeQA durch das Hinzufügen von Absätzen synthetisiert, die mit den gegebenen echten Zusammenfassungen zusammenhängen. Dieses Datenset ist die vollständige Langkontext-Supervised-Fine-Tuning (SFT)-Trainingsdaten des ChatQA-2-Modells und umfasst hauptsächlich zwei Unterdatensets: long_sft und NarrativeQA_131072. Das Datenformat ist JSON und enthält Trainings- und Testdatensets für die Instruktionsfeinabstimmungsphase des Modells.

Zusammensetzung des Datensets

Das Datenset umfasst die folgenden zwei Hauptkonfigurationen (Unterdatensets):

• long_sft: Langkontext-Supervised-Fine-Tuning-Daten, die aus bestehenden Datensets stammen, um die Verständnis- und Generierungsfähigkeit des Modells in langen Textdialogen zu verbessern.

  • Trainingsdatenset: long_sft/long_sft_QA_train.json
  • Testdatenset: long_sft/long_sft_QA_dev.json

• NarrativeQA_131072: Langkontext-Fragen-und-Antworten-Daten, die auf Basis des NarrativeQA-Datensets synthetisiert wurden, wobei der Kontext durch das Hinzufügen relevanter Absätze erweitert wird.

  • Trainingsdatenset: NarrativeQA_131072/NarrativeQA_131072_QA_train.json
  • Testdatenset: NarrativeQA_131072/NarrativeQA_131072_QA_dev.json

Zitierung

@article{xu2024chatqa,
  title={ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities},
  author={Xu, Peng and Ping, Wei and Wu, Xianchao and Liu, Zihan and Shoeybi, Mohammad and Catanzaro, Bryan},
  journal={arXiv preprint arXiv:2407.14482},
  year={2024}
}