نظرة عامة على مجموعة البيانات

تم إصدار بيانات التدريب الخاضع للإشراف للسياق الطويل في نموذج ChatQA 2 بواسطة شركة إنفيديا (NVIDIA) عام 2024، وهي مجموعة بيانات تركز على قدرات الإجابة على أسئلة المحادثة ذات السياق الطويل والتوليد المعزز بالاسترجاع (RAG)، وقد نُشرت نتائج البحث المتعلقة بها في «ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities»، بهدف تحسين أداء نماذج اللغات الكبيرة عند التعامل مع مهام الحوار متعددة الجولات التي تتطلب سياقاً طويلاً ومعقداً.

يشتق الفرعي long_sft من عينات GPT-4 الموجودة في مجموعات LongAlpaca12k و Open Orca بالإضافة إلى مجموعات بيانات السياق الطويلة؛ بينما تم توليد فرعي NarrativeQA_131072 بناءً على مجموعة NarrativeQA عبر إضافة فقرات متعلقة بالملخص الحقيقي المحدد لإنشاء البيانات التركيبية. تُعد هذه المجموعة بيانات تدريب كاملة للتدريب الخاضع للإشراف طويل السياق (SFT) لنموذج ChatQA-2، وتتكون بشكل رئيسي من فرعين: long_sft و NarrativeQA_131072. بصيغة JSON، تتضمن كلًا من مجموعة التدريب ومجموعة الاختبار، وتُستخدم لمرحلة ضبط الأوامر للنماذج.

تكوين مجموعة البيانات

تحتوي مجموعة البيانات على التكوينين الرئيسيين التاليين (الفرعيين):

long_sft

بيانات تدريب خاضعة للإشراف طويلة السياق مستمدة من مجموعات بيانات موجودة، تهدف إلى تعزيز قدرة النموذج على الفهم والتوليد أثناء حوار النصوص الطويلة.

• مجموعة التدريب: long_sft/long_sft_QA_train.json
• مجموعة الاختبار: long_sft/long_sft_QA_dev.json

NarrativeQA_131072

بيانات إجابات الأسئلة سياقية طويلة السياق مُنتجة تركيبياً استناداً إلى مجموعة NarrativeQA، حيث يتم تعزيز معلومات السياق بإضافة الفقرات ذات الصلة.

• مجموعة التدريب: NarrativeQA_131072/NarrativeQA_131072_QA_train.json
• مجموعة الاختبار: NarrativeQA_131072/NarrativeQA_131072_QA_dev.json

الاستشهاد المرجعي

@article{xu2024chatqa,
  title={ChatQA 2: Bridging the Gap to Proprietary LLMs in Long Context and RAG Capabilities},
  author={Xu, Peng and Ping, Wei and Wu, Xianchao and Liu, Zihan and Shoeybi, Mohammad and Catanzaro, Bryan},
  journal={arXiv preprint arXiv:2407.14482},
  year={2024}
}