HyperAIHyperAI

Command Palette

Search for a command to run...

مجموعة بيانات مساعدة HelpSteer للمواءمة

التاريخ

المؤسسة

NVIDIA

رابط الورقة البحثية

2311.09528

الترخيص

CC BY 4.0

HelpSteer هي مجموعة بيانات طورتها NVIDIA في عام 2023 لمحاذاة نماذج اللغة الكبيرة، وتهدف إلى تحسين فائدة الإجابات ودقتها وترابطها، مع دعم ضبط مستوى التعقيد والتفصيل في الردود. النتائج البحثية ذات الصلة موضحة في «HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM».

تحتوي مجموعة البيانات هذه على 37,120 عينة، وتغطي أنواعاً متعددة من المهام مثل إعادة الصياغة والتلخيص والتصنيف والاستخراج والإجابة عن الأسئلة. تتضمن كل عينة كلمة الاستعلام، واستجابة النموذج، ودرجات التقييم البشري لخمس خصائص هي: الفائدة، والدقة، والترابط، والتعقيد، والتفصيل، حيث تتراوح الدرجات من 0 إلى 4. تم وضع التسميات بواسطة منظمة Scale AI، وتُستخدم بشكل رئيسي في تدريب نماذج اللغة الكبيرة وتقييمها وأبحاث محاذاة النماذج.

تكوين مجموعة البيانات

تنقسم مجموعة البيانات إلى جزأين: مجموعة التدريب ومجموعة التحقق:

  • مجموعة التدريب (train): 35,331 عينة.
  • مجموعة التحقق (validation): 1,789 عينة.

تتضمن كل عينة الحقول الرئيسية التالية:

  • prompt: كلمة الاستعلام المُدخلة.
  • response: الاستجابة التي يولدها نموذج اللغة الكبير.
  • helpfulness: درجة الفائدة.
  • correctness: درجة الدقة.
  • coherence: درجة الترابط.
  • complexity: درجة التعقيد.
  • verbosity: درجة التفصيل.
数据集示例
数据集示例

الاستشهاد

@misc{wang2023helpsteer,
      title={HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM}, 
      author={Zhilin Wang and Yi Dong and Jiaqi Zeng and Virginia Adams and Makesh Narsimhan Sreedhar and Daniel Egert and Olivier Delalleau and Jane Polak Scowcroft and Neel Kant and Aidan Swope and Oleksii Kuchaiev},
      year={2023},
      eprint={2311.09528},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{dong2023steerlm,
      title={SteerLM: Attribute Conditioned SFT as an (User-Steerable) Alternative to RLHF}, 
      author={Yi Dong and Zhilin Wang and Makesh Narsimhan Sreedhar and Xianchao Wu and Oleksii Kuchaiev},
      year={2023},
      eprint={2310.05344},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp