HelpSteer 是由 NVIDIA 于 2023 年发布的一个用于大语言模型对齐的数据集，旨在提升模型回答的帮助性、正确性和连贯性，并支持对回复的复杂度和详细程度进行调整。相关论文成果为「HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM」。

该数据集包含 37,120 个样本，涵盖重写、摘要、分类、提取和问答等多种任务类型。每个样本包含提示词、模型响应以及由人工标注的帮助性、正确性、连贯性、复杂度和详细程度五项属性评分，评分范围为 0 到 4。数据由 Scale AI 组织标注，主要用于大语言模型训练、评估和模型对齐研究。

数据集组成

数据集分为训练集和验证集两个部分：

• 训练集（train）：35,331 个样本。
• 验证集（validation）：1,789 个样本。

每个样本主要包含以下字段：

• prompt：输入提示词。
• response：大语言模型生成的响应。
• helpfulness：帮助性评分。
• correctness：正确性评分。
• coherence：连贯性评分。
• complexity：复杂度评分。
• verbosity：详细程度评分。

Citation

@misc{wang2023helpsteer,
      title={HelpSteer: Multi-attribute Helpfulness Dataset for SteerLM}, 
      author={Zhilin Wang and Yi Dong and Jiaqi Zeng and Virginia Adams and Makesh Narsimhan Sreedhar and Daniel Egert and Olivier Delalleau and Jane Polak Scowcroft and Neel Kant and Aidan Swope and Oleksii Kuchaiev},
      year={2023},
      eprint={2311.09528},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

@misc{dong2023steerlm,
      title={SteerLM: Attribute Conditioned SFT as an (User-Steerable) Alternative to RLHF}, 
      author={Yi Dong and Zhilin Wang and Makesh Narsimhan Sreedhar and Xianchao Wu and Oleksii Kuchaiev},
      year={2023},
      eprint={2310.05344},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}