مجموعة بيانات CLaRa للاستدلال بالمتغيرات الكامنة المستمرة هي مجموعة بيانات أصدرتها شركة آبل في عام 2025، مخصصة لاسترجاع التوليد المعزز والاستدلال بالمتغيرات الكامنة المستمرة. الورقة البحثية ذات الصلة متاحة عبر «CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning»، وتهدف إلى توفير بيانات للتدريب والتقييم لدعم قدرة النماذج على الإجابة عن الأسئلة تحت تمثيل الوثائق المضغوطة.

تحتوي هذه المجموعة البيانات على ثلاثة فئات رئيسية من البيانات: التدريب المسبق، والضبط الدقيق بالتوجيهات، والضبط الدقيق الشامل. وهي تغطي بناء ومجموعات تقييم لمعايير استرجاع شائعة مثل 2WikiMultihopQA وHotpotQA وMuSiQue وNatural Questions. تتميز بحجم كبير يتراوح بين 10 جيجابايت و100 جيجابايت، وبصيغة موحدة هي JSONL، وتدعم وثائق الحالة المثالية (المرجعية/Oracle) وسيناريوهات الاسترجاع العادية، مما يجعلها مناسبة لبحوث الاسترجاع التوليدي المعزز (RAG)، وضغط الوثائق، والمهام المعقدة للإجابة عن الأسئلة.

تكوين مجموعة البيانات

تتألف مجموعة البيانات بشكل أساسي من الأجزاء الثلاثة التالية، حيث يتم تخزين جميع البيانات بصيغة JSONL:

• بيانات التدريب المسبق (Pretraining): تُستخدم لتعلم مُضغط الوثائق. تتضمن الحقول التالية:

  • data_type: نوع البيانات (مثل qa)
  • question: قائمة الأسئلة
  • answers: قائمة الإجابات
  • docs: قائمة سياق الوثائق

• بيانات الضبط الدقيق (Fine-Tuning Data): بيانات ضبط دقيق توجيهي تستخدم للتعلم القائم على تمثيلات الوثائق المضغوطة للإجابة عن الأسئلة. تتضمن الحقول التالية:

  • question: نص السؤال
  • docs: قائمة الوثائق المسترجعة
  • gold_answer: الإجابة المرجعية الصحيحة
  • answer: إجابة النموذج المُولَّدة

بالإضافة إلى ذلك، تحتوي على مجموعات تقييم لمختلف معايير الاختبار (2wiki, hotpotqa, musique, nq)، مقسمة إلى إعدادات تشمل وثائق حالة مثالية (Oracle) (المشار إليها بـ inst_eval*_with_pos) وإعدادات عادية (inst_eval*_no_pos).

• بيانات الضبط الدقيق الشامل (End-to-End Tuning Data): بيانات للعملية الكاملة المستخدمة في تدريب نماذج النهاية إلى البداية. تتضمن الحقول التالية:
  • question: نص السؤال
  • answer: نص الإجابة
  • docs: قائمة الوثائق المسترجعة
  • pos_index: فهرس الوثيقة الموجبة ضمن قائمة docs

تنقسم أيضاً إلى مجموعات تدريب وتقييم، وتتوفر فيها إعدادتان مختلفتان لكل معيار اختبار (ours_2wiki, ours_hotpotqa, ours_musique, ours_nq): واحدة تضم وثائق موجبة (with_pos) والأخرى لا تضمها (no_pos).

بيانات الضبط الدقيق الشاملة (End-to-End Tuning Data): بيانات للعملية الكاملة المستخدمة في تدريب نماذج النهاية إلى البداية. تتضمن الحقول التالية:

• question: نص السؤال
• answer: نص الإجابة
• docs: قائمة الوثائق المسترجعة
• pos_index: فهرس الوثيقة الموجبة ضمن قائمة docs

تنقسم أيضاً إلى مجموعات تدريب وتقييم، وتتوفر فيها إعدادتان مختلفتان لكل معيار اختبار (ours_2wiki, ours_hotpotqa, ours_musique, ours_nq): واحدة تضم وثائق موجبة (with_pos) والأخرى لا تضمها (no_pos).

الاقتباس

@misc{he2025clarabridgingretrievalgeneration,
      title={CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning}, 
      author={Jie He and Richard He Bai and Sinead Williamson and Jeff Z. Pan and Navdeep Jaitly and Yizhe Zhang},
      year={2025},
      eprint={2511.18659},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2511.18659}, 
}