Nemotron Content Safety Dataset V2 是由 NVIDIA 于 2025 年发布的一个专注于大型语言模型内容安全与风险评估的数据集，旨在为训练鲁棒的 AI 安全护栏模型提供高质量的多轮对话标注数据。

该数据集包含 33,416 个人机交互样本，涵盖 30,007 个训练样本、1,445 个验证样本和 1,964 个测试样本。 数据集遵循包含 12 个顶层危险类别和 9 个细分子类别的综合风险分类法，适用于构建 LLM 的内容审核与对齐系统。 数据基于 Anthropic HH-RLHF 提示语，利用 Mistral-7B-v0.1 模型生成响应，并结合人类标注与多 LLM 陪审团系统进行安全性分类。

数据集组成

• id：样本的标识符。
• prompt：用户的第一轮对话。若来自 Suicide Detection 数据集且经过脱敏，此处显示为 "REDACTED"，并通过 reconstruction_id_if_redacted 关联原始数据。
• response：助手的第一轮回复。若为仅提示样本则可能为 null 或空字符串。
• prompt_label：提示语的二元安全标签。
• response_label：回复的二元安全标签。若为仅提示样本则为 null。
• prompt_label_source：标注来源，始终为 human（人工）。
• response_label_source：回复标注来源，包括 human（人工）、llm_jury（LLM 陪审团）或 refusal_data_augmentation（拒绝数据增强）。
• violated_categories：逗号分隔的危险类别列表，按标注频率排序。

Citation

@inproceedings{ghosh-etal-2025-aegis2,
    title = "{AEGIS}2.0: A Diverse {AI} Safety Dataset and Risks Taxonomy for Alignment of {LLM} Guardrails",
    author = "Ghosh, Shaona and Varshney, Prasoon and Sreedhar, Makesh Narsimhan and Padmakumar, Aishwarya and Rebedea, Traian and Varghese, Jibin Rajan and Parisien, Christopher",
    editor = "Chiruzzo, Luis and Ritter, Alan and Wang, Lu",
    booktitle = "Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers)",
    month = apr,
    year = "2025",
    address = "Albuquerque, New Mexico",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2025.naacl-long.306/",
    doi = "10.18653/v1/2025.naacl-long.306",
    pages = "5992--6026",
    ISBN = "979-8-89176-189-6"
}