※本データセットはオンライン利用に対応しておりますが、ここをクリックしてジャンプしてください。

HelpSteer2 は、NVIDIA と Scale AI が 2024 年に共同で作成したオープンソース データ セットです。これは、人間の好みに合わせて高品質な回答を生成するように大規模言語モデル (LLM) をガイドできる報酬モデルをトレーニングするように設計されています。 」HelpSteer2: 最高のパフォーマンスの報酬モデルをトレーニングするためのオープンソース データセット”。これは HelpSteer データ セットに基づいており、現在のより強力な LLM に適応するように更新されています。 HelpSteer2 には約 1 万組の応答が含まれており、既存の嗜好データセットよりも一桁小さいにもかかわらず、報酬モデルのトレーニングに非常に効率的です。 このデータセットの収集プロセスには、ShareGPT プラットフォームからプロンプトを取得し、社内の強力な基礎モデルを使用して回答を生成することが含まれます。注釈の品質を向上させるために、回答の注釈プロセスでは、各回答に注釈を付けるために少なくとも 3 人のアノテーターが必要です。 HelpSteer2 の統計によると、模範解答は HelpSteer データセットと比較して、有用性、正確性、一貫性、複雑さ、冗長性の点で高いスコアを獲得しています。 HelpSteer2 データセットは、報酬モデルのトレーニングに非常に効果的です。たとえば、HelpSteer2 でトレーニングされた Llama 3 70B モデルは、メインの Reward-Bench データセットで 92.0% のスコアを達成し、2024 年 6 月 12 日の時点でリストされているすべての公開モデルおよび独自モデルを上回りました。さらに研究チームは、報酬モデルによって予測される豊富な多属性評価を効果的に活用できるSteerLM 2.0モデルアライメント手法も提案しました。

引用

@misc{wang2024helpsteer2preferencecomplementingratingspreferences,
title={HelpSteer2-Preference: Complementing Ratings with Preferences},
author={Zhilin Wang and Alexander Bukharin and Olivier Delalleau and Daniel Egert and Gerald Shen and Jiaqi Zeng and Oleksii Kuchaiev and Yi Dong},
year={2024},
eprint={2410.01257},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/2410.01257},
}
@misc{wang2024helpsteer2,
title={HelpSteer2: Open-source dataset for training top-performing reward models},
author={Zhilin Wang and Yi Dong and Olivier Delalleau and Jiaqi Zeng and Gerald Shen and Daniel Egert and Jimmy J. Zhang and Makesh Narsimhan Sreedhar and Oleksii Kuchaiev},
year={2024},
eprint={2406.08673},
archivePrefix={arXiv},
primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}