Command Palette
Search for a command to run...
مجموعة بيانات مساعدة HelpSteer للمواءمة
HelpSteer هي مجموعة بيانات طورتها NVIDIA في عام 2023 لمحاذاة نماذج اللغة الكبيرة، وتهدف إلى تحسين فائدة الإجابات ودقتها وترابطها، مع دعم ضبط مستوى التعقيد والتفصيل في الردود. النتائج البحثية ذات الصلة موضحة في «HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM».
تحتوي مجموعة البيانات هذه على 37,120 عينة، وتغطي أنواعاً متعددة من المهام مثل إعادة الصياغة والتلخيص والتصنيف والاستخراج والإجابة عن الأسئلة. تتضمن كل عينة كلمة الاستعلام، واستجابة النموذج، ودرجات التقييم البشري لخمس خصائص هي: الفائدة، والدقة، والترابط، والتعقيد، والتفصيل، حيث تتراوح الدرجات من 0 إلى 4. تم وضع التسميات بواسطة منظمة Scale AI، وتُستخدم بشكل رئيسي في تدريب نماذج اللغة الكبيرة وتقييمها وأبحاث محاذاة النماذج.
تكوين مجموعة البيانات
تنقسم مجموعة البيانات إلى جزأين: مجموعة التدريب ومجموعة التحقق:
- مجموعة التدريب (train): 35,331 عينة.
- مجموعة التحقق (validation): 1,789 عينة.
تتضمن كل عينة الحقول الرئيسية التالية:
- prompt: كلمة الاستعلام المُدخلة.
- response: الاستجابة التي يولدها نموذج اللغة الكبير.
- helpfulness: درجة الفائدة.
- correctness: درجة الدقة.
- coherence: درجة الترابط.
- complexity: درجة التعقيد.
- verbosity: درجة التفصيل.
الاستشهاد
@misc{wang2023helpsteer,
title={HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM},
author={Zhilin Wang and Yi Dong and Jiaqi Zeng and Virginia Adams and Makesh Narsimhan Sreedhar and Daniel Egert and Olivier Delalleau and Jane Polak Scowcroft and Neel Kant and Aidan Swope and Oleksii Kuchaiev},
year={2023},
eprint={2311.09528},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
@misc{dong2023steerlm,
title={SteerLM: Attribute Conditioned SFT as an (User-Steerable) Alternative to RLHF},
author={Yi Dong and Zhilin Wang and Makesh Narsimhan Sreedhar and Xianchao Wu and Oleksii Kuchaiev},
year={2023},
eprint={2310.05344},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.