Nemotron Content Safety Dataset V1 は、NVIDIA が公開したオープンソースのコンテンツ安全データセットであり、元の名称は Aegis AI Content Safety Dataset です。関連論文は AEGIS: Online Adaptive AI Content Safety Moderation with Ensemble of LLM Experts で、大規模言語モデルのコンテンツモデレーション機構の構築を支援し、モデルが安全な応答を生成する能力を向上させることを目的としています。

このデータセットには 11,997 件の人間によるアノテーション済みサンプルが含まれており、そのうちトレーニングセットは 10,798 件、テストセットは 1,199 件です。データのプロンプトは Anthropic HH-RLHF に由来し、応答は Mistral-7B-v0.1 によって生成され、アノテーション作業は NVIDIA の 12 名のアノテーターと 2 名の品質保証担当者によって完了しました。

データセットの構成

データセットにはトレーニングセットとテストセットが含まれており、主に以下の内容で構成されています：

• データ形式：ユーザープロンプトのみ、システムプロンプトとユーザープロンプト、単一ターンの対話、複数ターンの対話の4つの形式をカバーしています。
• アノテーションカテゴリ：ヘイトスピーチ、性的コンテンツ、暴力、自殺および自傷行為、脅迫、未成年者の性的コンテンツ、銃器および違法武器、規制物質、犯罪計画、個人プライバシー情報、嫌がらせ、下品な言葉、その他、注意が必要などのカテゴリが含まれます。
• データフィールド：サンプルID、対話テキスト、テキストタイプ、アノテーション数、および複数の安全ラベルが含まれます。
• データの用途：コンテンツモデレーション、安全アライメント、および関連研究に使用され、教師ありファインチューニング（SFT）および直接選好最適化（DPO）をサポートできます。

Citation

@article{ghosh2024aegis,
    title={AEGIS: Online Adaptive AI Content Safety Moderation with Ensemble of LLM Experts},
    author={Ghosh, Shaona and Varshney, Prasoon and Galinkin, Erick and Parisien, Christopher},
    journal={arXiv preprint arXiv:2404.05993},
    year={2024}
}