Daring-Anteater 是由 NVIDIA 于 2024 年发布的一个用于指令微调的综合数据集，相关论文成果为「HelpSteer2: Open-source dataset for training top-performing reward models」，旨在促进可复现性并训练高性能奖励模型。

该数据集包含约 95,000 个样本，其中大部分由 NVIDIA 专有模型和 Mixtral-8x7B-Instruct-v0.1 合成生成，其余样本来源于 FinQA、wikitablequestions 和 Open-Platypus 的商业友好子集。 该数据集涵盖了广泛的 tasks 和场景，主要用于监督微调（SFT）及后续的偏好调整。 数据集以 CC-BY-4.0 许可开源，支持商业用途。

数据集组成

该数据集包含四个主要字段：

• conversations：用户和助手的对话轮次
• mask：不计算损失的轮次（默认为 "User"）
• system：系统提示词
• dataset：数据来源

数据集由以下子集组成：

• synthetic_conv：82,450 个样本
• synthetic_roleplay：2,996 个样本
• synthetic_math：3,000 个样本
• synthetic_precise_instruction_following：1,500 个样本
• synthetic_json_format_following：1,499 个样本
• synthetic_complex_instruction：1,500 个样本
• open_platypus_commercial：6,000 个样本
• FinQA：300 个样本
• wikitablequestions：287 个样本

Citation

@misc{wang2024helpsteer2,
      title={HelpSteer2: Open-source dataset for training top-performing reward models}, 
      author={Zhilin Wang and Yi Dong and Olivier Delalleau and Jiaqi Zeng and Gerald Shen and Daniel Egert and Jimmy J. Zhang and Makesh Narsimhan Sreedhar and Oleksii Kuchaiev},
      year={2024},
      eprint={2406.08673},
      archivePrefix={arXiv},
      primaryClass={id='cs.CL' full_name='Computation and Language' is_active=True alt_name='cmp-lg' in_archive='cs' is_general=False description='Covers natural language processing. Roughly includes material in ACM Subject Class I.2.7. Note that work on artificial languages (programming languages, logics, formal systems) that does not explicitly address natural-language issues broadly construed (natural-language processing, computational linguistics, speech, text retrieval, etc.) is not appropriate for this area.'}
}