HelpSteer3 est un ensemble de données sur les préférences humaines publié par NVIDIA en 2025. Les résultats de l'article associé sont «HelpSteer3-Preference : données de préférences annotées par des humains ouvertes pour diverses tâches et langues", qui vise à améliorer la réactivité du modèle aux invites des utilisateurs grâce à des techniques de rétroaction humaine et d'apprentissage par renforcement. L'ensemble de données contient 40 476 échantillons de préférences, chacun incluant un domaine, une langue, un contexte, deux réponses, un score de préférence global entre les deux réponses et les scores de préférence personnelle de trois annotateurs maximum. Il inclut des données multilingues (chinois, coréen, français, espagnol, japonais, allemand, russe, portugais, italien, vietnamien et néerlandais).

Citation

@misc{wang2025helpsteer3preferenceopenhumanannotatedpreference,
title={HelpSteer3-Preference: Open Human-Annotated Preference Data across Diverse Tasks and Languages},
author={Zhilin Wang and Jiaqi Zeng and Olivier Delalleau and Hoo-Chang Shin and Felipe Soares and Alexander Bukharin and Ellie Evans and Yi Dong and Oleksii Kuchaiev},
year={2025},
eprint={2505.11475},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2505.11475},
}
@misc{wang2025helpsteer3humanannotatedfeedbackedit,
title={HelpSteer3: Human-Annotated Feedback and Edit Data to Empower Inference-Time Scaling in Open-Ended General-Domain Tasks},
author={Zhilin Wang and Jiaqi Zeng and Olivier Delalleau and Daniel Egert and Ellie Evans and Hoo-Chang Shin and Felipe Soares and Yi Dong and Oleksii Kuchaiev},
year={2025},
eprint={2503.04378},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2503.04378},
}
@misc{wang2025rlbffbinaryflexiblefeedback,
title={RLBFF: Binary Flexible Feedback to bridge between Human Feedback & Verifiable Rewards},
author={Zhilin Wang and Jiaqi Zeng and Olivier Delalleau and Ellie Evans and Daniel Egert and Hoo-Chang Shin and Felipe Soares and Yi Dong and Oleksii Kuchaiev},
year={2025},
eprint={2509.21319},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2509.21319},
}