HelpSteer هي مجموعة بيانات أصدرتها NVIDIA في عام 2023 لمحاذاة نماذج اللغة الكبيرة، تهدف إلى تحسين مدى فائدة الإجابات ودقتها وترابطها، مع دعم ضبط درجة التعقيد والتفاصيل في الردود. الورقة البحثية المرتبطة بها هي «HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM».

تحتوي مجموعة البيانات على 37,120 عينة، تغطي أنواعًا متعددة من المهام مثل إعادة الصياغة، والتلخيص، والتصنيف، والاستخراج، والأسئلة والأجوبة. تتضمن كل عينة كلمة تلقيم (prompt)، واستجابة النموذج، وخمسة تقييمات يدوية من قبل بشر تشمل الفائدة، والدقة، والترابط، والتعقيد، ودرجة التفاصيل، بمقياس من 0 إلى 4. تم تنظيم عملية وضع العلامات بواسطة Scale AI، وتُستخدم المجموعة بشكل أساسي لتدريب نماذج اللغة الكبيرة، وتقييمها، وأبحاث محاذاة النماذج.

مكونات مجموعة البيانات

تنقسم مجموعة البيانات إلى جزأين: مجموعة التدريب ومجموعة التحقق:

• مجموعة التدريب (train): 35,331 عينة.
• مجموعة التحقق (validation): 1,789 عينة.

يتضمن كل عينة بشكل أساسي الحقول التالية:

• prompt: كلمة التلقيم المدخلة.
• response: الاستجابة التي يولدها نموذج اللغة الكبير.
• helpfulness: درجة الفائدة.
• correctness: درجة الدقة.
• coherence: درجة الترابط.
• complexity: درجة التعقيد.
• verbosity: درجة التفاصيل.

Citation

@misc{wang2023helpsteer,
      title={HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM}, 
      author={Zhilin Wang and Yi Dong and Jiaqi Zeng and Virginia Adams and Makesh Narsimhan Sreedhar and Daniel Egert and Olivier Delalleau and Jane Polak Scowcroft and Neel Kant and Aidan Swope and Oleksii Kuchaiev},
      year={2023},
      eprint={2311.09528},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{dong2023steerlm,
      title={SteerLM: Attribute Conditioned SFT as an (User-Steerable) Alternative to RLHF}, 
      author={Yi Dong and Zhilin Wang and Makesh Narsimhan Sreedhar and Xianchao Wu and Oleksii Kuchaiev},
      year={2023},
      eprint={2310.05344},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}