Nemotron Content Safety Dataset V1 是由 NVIDIA 发布的开源内容安全数据集，原名 Aegis AI Content Safety Dataset，相关论文为 AEGIS: Online Adaptive AI Content Safety Moderation with Ensemble of LLM Experts，旨在帮助构建大语言模型的内容审核机制，并提升模型生成安全回复的能力。

数据集包含 11,997 条人工标注样本，其中训练集 10,798 条、测试集 1,199 条。数据提示词来源于 Anthropic HH-RLHF，回复由 Mistral-7B-v0.1 生成，标注工作由 NVIDIA 的 12 名标注员和 2 名质量保证人员完成。

数据集组成

数据集包含训练集和测试集，主要包括以下内容：

• 数据格式：涵盖仅用户提示词、系统提示词与用户提示词、单轮对话和多轮对话四种形式。
• 标注类别：包括仇恨言论、性内容、暴力、自杀与自残、威胁、未成年人性内容、枪支与非法武器、受管制物质、犯罪计划、个人隐私信息、骚扰、粗俗语言、其他和需要谨慎等类别。
• 数据字段：包括样本 ID、对话文本、文本类型、标注数量及多组安全标签。
• 数据用途：用于内容审核、安全对齐及相关研究，可支持监督微调（SFT）和直接偏好优化（DPO）。

Citation

@article{ghosh2024aegis,
    title={AEGIS: Online Adaptive AI Content Safety Moderation with Ensemble of LLM Experts},
    author={Ghosh, Shaona and Varshney, Prasoon and Galinkin, Erick and Parisien, Christopher},
    journal={arXiv preprint arXiv:2404.05993},
    year={2024}
}