HelpSteer3は、NVIDIAが2025年にリリースした人間の嗜好データセットです。関連する論文の結果は「HelpSteer3-Preference: 多様なタスクと言語にわたる、人間が注釈を付けたオープンな嗜好データ」は、人間からのフィードバックと強化学習技術を通じて、ユーザーのプロンプトに対するモデルの応答性を向上させることを目的としています。 このデータセットには40,476件の選好サンプルが含まれており、それぞれにドメイン、言語、コンテキスト、2つの回答、2つの回答間の総合選好スコア、そして最大3人の注釈者による個人選好スコアが含まれています。多言語データ（中国語、韓国語、フランス語、スペイン語、日本語、ドイツ語、ロシア語、ポルトガル語、イタリア語、ベトナム語、オランダ語）も含まれています。

引用

@misc{wang2025helpsteer3preferenceopenhumanannotatedpreference,
title={HelpSteer3-Preference: Open Human-Annotated Preference Data across Diverse Tasks and Languages},
author={Zhilin Wang and Jiaqi Zeng and Olivier Delalleau and Hoo-Chang Shin and Felipe Soares and Alexander Bukharin and Ellie Evans and Yi Dong and Oleksii Kuchaiev},
year={2025},
eprint={2505.11475},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2505.11475},
}
@misc{wang2025helpsteer3humanannotatedfeedbackedit,
title={HelpSteer3: Human-Annotated Feedback and Edit Data to Empower Inference-Time Scaling in Open-Ended General-Domain Tasks},
author={Zhilin Wang and Jiaqi Zeng and Olivier Delalleau and Daniel Egert and Ellie Evans and Hoo-Chang Shin and Felipe Soares and Yi Dong and Oleksii Kuchaiev},
year={2025},
eprint={2503.04378},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2503.04378},
}
@misc{wang2025rlbffbinaryflexiblefeedback,
title={RLBFF: Binary Flexible Feedback to bridge between Human Feedback & Verifiable Rewards},
author={Zhilin Wang and Jiaqi Zeng and Olivier Delalleau and Ellie Evans and Daniel Egert and Hoo-Chang Shin and Felipe Soares and Yi Dong and Oleksii Kuchaiev},
year={2025},
eprint={2509.21319},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2509.21319},
}