ChatQA 2 Long SFT Data est un ensemble de données publié par NVIDIA en 2024, axé sur les dialogues de questions-réponses en contexte long et les capacités de génération augmentée par récupération (RAG). Les résultats de recherche associés sont présentés dans l'article « ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities », visant à améliorer les performances des grands modèles de langage dans le traitement de contextes longs et de tâches de dialogues multi-tours complexes.

Le sous-ensemble long_sft est dérivé des échantillons GPT-4 de LongAlpaca12k, d'Open Orca et des collections de données longues ; le sous-ensemble NarrativeQA_131072 est généré synthétiquement à partir de NarrativeQA, en ajoutant des paragraphes liés aux résumés réels donnés. Cet ensemble de données constitue les données d'entraînement de supervision fine (SFT) en contexte long pour le modèle ChatQA-2, et comprend principalement deux sous-ensembles : long_sft et NarrativeQA_131072. Le format des données est JSON, comprenant des ensembles d'entraînement et de test, utilisés pour la phase de réglage par instructions du modèle.

Composition de l'ensemble de données

L'ensemble de données comprend les deux configurations (sous-ensembles) principales suivantes :

• long_sft : données de supervision fine en contexte long issues d'ensembles de données existants, visant à améliorer la compréhension et la génération du modèle dans les dialogues en texte long.

  • Ensemble d'entraînement : long_sft/long_sft_QA_train.json
  • Ensemble de test : long_sft/long_sft_QA_dev.json

• NarrativeQA_131072 : données de questions-réponses en contexte long générées synthétiquement à partir de l'ensemble de données NarrativeQA, en enrichissant les informations contextuelles avec des paragraphes pertinents.

  • Ensemble d'entraînement : NarrativeQA_131072/NarrativeQA_131072_QA_train.json
  • Ensemble de test : NarrativeQA_131072/NarrativeQA_131072_QA_dev.json

Citation

@article{xu2024chatqa,
  title={ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities},
  author={Xu, Peng and Ping, Wei and Wu, Xianchao and Liu, Zihan and Shoeybi, Mohammad and Catanzaro, Bryan},
  journal={arXiv preprint arXiv:2407.14482},
  year={2024}
}