HelpSteer est un ensemble de données publié par NVIDIA en 2023 pour l'alignement des grands modèles de langage, conçu pour améliorer l'utilité, l'exactitude et la cohérence des réponses du modèle, tout en permettant d'ajuster la complexité et le niveau de détail des réponses. Les résultats de recherche associés sont présentés dans « HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM ».

Cet ensemble de données comprend 37 120 échantillons, couvrant divers types de tâches telles que la réécriture, le résumé, la classification, l'extraction et la question-réponse. Chaque échantillon contient un prompt, une réponse du modèle, ainsi que cinq scores d'attributs annotés manuellement : utilité, exactitude, cohérence, complexité et niveau de détail, chacun noté de 0 à 4. Les données ont été annotées par Scale AI et sont principalement utilisées pour l'entraînement des grands modèles de langage, l'évaluation et la recherche sur l'alignement des modèles.

Composition de l'ensemble de données

L'ensemble de données est divisé en deux parties : l'ensemble d'entraînement et l'ensemble de validation :

• Ensemble d'entraînement (train) : 35 331 échantillons.
• Ensemble de validation (validation) : 1 789 échantillons.

Chaque échantillon contient principalement les champs suivants :

• prompt : le prompt d'entrée.
• response : la réponse générée par le grand modèle de langage.
• helpfulness : score d'utilité.
• correctness : score d'exactitude.
• coherence : score de cohérence.
• complexity : score de complexité.
• verbosity : score de niveau de détail.

Citation

@misc{wang2023helpsteer,
      title={HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM}, 
      author={Zhilin Wang and Yi Dong and Jiaqi Zeng and Virginia Adams and Makesh Narsimhan Sreedhar and Daniel Egert and Olivier Delalleau and Jane Polak Scowcroft and Neel Kant and Aidan Swope and Oleksii Kuchaiev},
      year={2023},
      eprint={2311.09528},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{dong2023steerlm,
      title={SteerLM: Attribute Conditioned SFT as an (User-Steerable) Alternative to RLHF}, 
      author={Yi Dong and Zhilin Wang and Makesh Narsimhan Sreedhar and Xianchao Wu and Oleksii Kuchaiev},
      year={2023},
      eprint={2310.05344},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}