Nemotron Content Safety Dataset V2 は、NVIDIA が2025年に公開した、大規模言語モデルのコンテンツ安全性とリスク評価に特化したデータセットであり、堅牢なAIセーフティガードモデルを訓練するための高品質なマルチターン対話ラベル付きデータを提供することを目的としています。

このデータセットには、33,416件の人間と機械の対話サンプルが含まれており、30,007件のトレーニングサンプル、1,445件の検証サンプル、1,964件のテストサンプルをカバーしています。 データセットは、12のトップレベル危険カテゴリと9の細分化サブカテゴリを含む包括的なリスク分類法に従っており、LLMのコンテンツモデレーションおよびアライメントシステムの構築に適しています。 データはAnthropic HH-RLHFプロンプトに基づき、Mistral-7B-v0.1モデルを使用してレスポンスを生成し、人間によるラベル付けと複数LLMによる陪審員システムを組み合わせて安全性分類を行っています。

データセット構成

• id：サンプルの識別子。
• prompt：ユーザーの最初のターンの会話。Suicide Detectionデータセット由来で匿名化されている場合、ここでは「REDACTED」と表示され、reconstruction_id_if_redactedを通じて元のデータに関連付けられます。
• response：アシスタントの最初のターンの返答。プロンプトのみのサンプルの場合はnullまたは空文字列になることがあります。
• prompt_label：プロンプトのバイナリ安全性ラベル。
• response_label：返答のバイナリ安全性ラベル。プロンプトのみのサンプルの場合はnull。
• prompt_label_source：ラベル付けのソースで、常にhuman（人間）です。
• response_label_source：返答のラベル付けソースで、human（人間）、llm_jury（LLM陪審員）、またはrefusal_data_augmentation（拒否データ拡張）を含みます。
• violated_categories：カンマ区切りの危険カテゴリリストで、ラベル付け頻度順に並べられています。

Citation

@inproceedings{ghosh-etal-2025-aegis2,
    title = "{AEGIS}2.0: A Diverse {AI} Safety Dataset and Risks Taxonomy for Alignment of {LLM} Guardrails",
    author = "Ghosh, Shaona and Varshney, Prasoon and Sreedhar, Makesh Narsimhan and Padmakumar, Aishwarya and Rebedea, Traian and Varghese, Jibin Rajan and Parisien, Christopher",
    editor = "Chiruzzo, Luis and Ritter, Alan and Wang, Lu",
    booktitle = "Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers)",
    month = apr,
    year = "2025",
    address = "Albuquerque, New Mexico",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2025.naacl-long.306/",
    doi = "10.18653/v1/2025.naacl-long.306",
    pages = "5992--6026",
    ISBN = "979-8-89176-189-6"
}