* Cet ensemble de données prend en charge l'utilisation en ligne.Cliquez ici pour sauter.

HelpSteer2 est un ensemble de données open source créé conjointement par NVIDIA et Scale AI en 2024. Il vise à former un modèle de récompense capable de guider les grands modèles linguistiques (LLM) pour générer des réponses de haute qualité qui répondent aux préférences humaines. Les résultats de l'article connexe sont «HelpSteer2 : ensemble de données open source pour la formation des modèles de récompense les plus performantsIl est mis à jour à partir de l'ensemble de données HelpSteer pour s'adapter aux LLM actuels, plus puissants. HelpSteer2 contient environ dix mille paires de réponses, ce qui est un ordre de grandeur inférieur aux ensembles de données de préférences existants, mais il est très efficace pour former des modèles de récompense. L'ensemble de données a été collecté en prenant des invites de la plateforme ShareGPT et en générant des réponses à l'aide d'un puissant modèle de base interne. Le processus d’annotation des réponses nécessitait au moins trois annotateurs pour annoter chaque réponse afin d’améliorer la qualité de l’annotation. Les statistiques de HelpSteer2 montrent que les réponses du modèle obtiennent des scores plus élevés en termes d'utilité, d'exactitude, de cohérence, de complexité et de verbosité par rapport à l'ensemble de données HelpSteer. L'ensemble de données HelpSteer2 est très efficace pour former des modèles de récompense. Par exemple, le modèle Llama 3 70B formé avec HelpSteer2 a obtenu un score de 92,0% sur l'ensemble de données principal Reward-Bench, surpassant tous les modèles publics et propriétaires répertoriés au 12 juin 2024. De plus, l'équipe de recherche a également proposé la méthode d'alignement de modèle SteerLM 2.0, qui peut utiliser efficacement les riches scores multi-attributs prédits par le modèle de récompense.

Citation

@misc{wang2024helpsteer2preferencecomplementingratingspreferences,
title={HelpSteer2-Preference: Complementing Ratings with Preferences},
author={Zhilin Wang and Alexander Bukharin and Olivier Delalleau and Daniel Egert and Gerald Shen and Jiaqi Zeng and Oleksii Kuchaiev and Yi Dong},
year={2024},
eprint={2410.01257},
archivePrefix={arXiv},
primaryClass={cs.LG},
url={https://arxiv.org/abs/2410.01257},
}
@misc{wang2024helpsteer2,
title={HelpSteer2: Open-source dataset for training top-performing reward models},
author={Zhilin Wang and Yi Dong and Olivier Delalleau and Jiaqi Zeng and Gerald Shen and Daniel Egert and Jimmy J. Zhang and Makesh Narsimhan Sreedhar and Oleksii Kuchaiev},
year={2024},
eprint={2406.08673},
archivePrefix={arXiv},
primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}