Nemotron Content Safety Dataset V1 est un jeu de données open source sur la sécurité du contenu publié par NVIDIA, initialement nommé Aegis AI Content Safety Dataset. L'article associé est disponible à l'adresse AEGIS: Online Adaptive AI Content Safety Moderation with Ensemble of LLM Experts， qui vise à aider à construire des mécanismes de modération du contenu pour les grands modèles de langage et à améliorer la capacité des modèles à générer des réponses sûres.

Le jeu de données comprend 11 997 échantillons annotés manuellement, dont 10 798 pour l'ensemble d'entraînement et 1 199 pour l'ensemble de test. Les invites de données proviennent d'Anthropic HH-RLHF, les réponses sont générées par Mistral-7B-v0.1, et l'annotation a été réalisée par 12 annotateurs et 2 responsables de l'assurance qualité de NVIDIA.

Composition du jeu de données

Le jeu de données comprend un ensemble d'entraînement et un ensemble de test, et contient principalement les éléments suivants :

• Format des données : couvre quatre formes, à savoir les invites utilisateur uniquement, les invites système avec invites utilisateur, les conversations à un tour et les conversations à plusieurs tours.
• Catégories d'annotation : comprend les discours haineux, le contenu sexuel, la violence, le suicide et l'automutilation, les menaces, le contenu sexuel impliquant des mineurs, les armes à feu et armes illégales, les substances réglementées, les plans criminels, les informations personnelles privées, le harcèlement, le langage grossier, les autres catégories et les catégories nécessitant de la prudence.
• Champs de données : comprend l'identifiant de l'échantillon, le texte de la conversation, le type de texte, le nombre d'annotations et plusieurs ensembles d'étiquettes de sécurité.
• Utilisation des données : destiné à la modération du contenu, à l'alignement de la sécurité et à la recherche connexe, et peut prendre en charge l'ajustement supervisé (SFT) et l'optimisation directe des préférences (DPO).

Citation

@article{ghosh2024aegis,
    title={AEGIS: Online Adaptive AI Content Safety Moderation with Ensemble of LLM Experts},
    author={Ghosh, Shaona and Varshney, Prasoon and Galinkin, Erick and Parisien, Christopher},
    journal={arXiv preprint arXiv:2404.05993},
    year={2024}
}