SFT DataBlend V1 是由 NVIDIA 于 2024 年发布的一个用于指令微调的高质量数据集，旨在为大型语言模型提供经过严格筛选和混合的指令数据。

该数据集是一个混合了多个公开可用数据集的集合，包括 OASST、CodeContests、FLAN、T0、Open_Platypus 和 GSM8K 等样本。 为了确保商业可用性，该混合数据集仅包含具有宽松许可证的子集，并根据采样率和数据集大小对部分子集进行了多轮次采样处理。 它涵盖了从自然语言理解、逻辑推理到代码生成和数学解题等多个领域，为模型训练提供了丰富且多样化的数据支持。

数据集组成

数据集主要包含以下字段：

• conversations：对话内容，以用户和助手的多轮交互格式组织。
• mask：标识对话中参与或不参与损失计算的轮次，默认屏蔽用户轮次。
• system：系统提示词，默认为空。
• dataset：数据来源标识，用于追踪样本所属的原始数据集。

数据集整合了多个公开数据集，涵盖以下任务类型：

• 自然语言理解：包括 MNLI、QNLI、SNLI 等。
• 问答与阅读理解：包括 SQuAD、DROP、Natural Questions、TriviaQA 等。
• 逻辑与常识推理：包括 ARC、HellaSwag、PIQA、COPA 等。
• 数学推理：包括 GSM8K、SciBench、PRM800K 等。
• 代码生成：包括 CodeContests、tigerbot-leetcodesolutions-en-2k 等。
• 文本生成：包括 FLAN、T0、DART、E2ENLG 等。