Nemotron Content Safety Dataset V2 est un ensemble de données publié par NVIDIA en 2025, axé sur la sécurité du contenu et l'évaluation des risques pour les grands modèles de langage, conçu pour fournir des données de dialogue multi-tours annotées de haute qualité pour l'entraînement de modèles robustes de garde-fous de sécurité en IA.

Cet ensemble de données contient 33 416 échantillons d'interactions homme-machine, comprenant 30 007 échantillons d'entraînement, 1 445 échantillons de validation et 1 964 échantillons de test. L'ensemble de données suit une taxonomie complète des risques comprenant 12 catégories de danger de haut niveau et 9 sous-catégories fines, adaptée à la construction de systèmes de modération de contenu et d'alignement pour les LLM. Les données sont basées sur les invites Anthropic HH-RLHF, les réponses étant générées à l'aide du modèle Mistral-7B-v0.1, et combinées avec une annotation humaine et un système de jury multi-LLM pour la classification de la sécurité.

Composition de l'ensemble de données

• id : identifiant de l'échantillon.
• prompt : premier tour de conversation de l'utilisateur. S'il provient de l'ensemble de données Suicide Detection et a été désensibilisé, il est affiché comme "REDACTED" ici, et lié aux données originales via reconstruction_id_if_redacted.
• response : première réponse de l'assistant. Peut être null ou une chaîne vide s'il s'agit d'un échantillon de type prompt uniquement.
• prompt_label : étiquette de sécurité binaire de l'invite.
• response_label : étiquette de sécurité binaire de la réponse. Est null pour les échantillons de type prompt uniquement.
• prompt_label_source : source de l'annotation, toujours human (humain).
• response_label_source : source de l'annotation de la réponse, y compris human (humain), llm_jury (jury LLM) ou refusal_data_augmentation (augmentation de données par refus).
• violated_categories : liste de catégories de danger séparées par des virgules, triées par fréquence d'annotation.

Citation```bibtex

@inproceedings{ghosh-etal-2025-aegis2, title = "{AEGIS}2.0: A Diverse {AI} Safety Dataset and Risks Taxonomy for Alignment of {LLM} Guardrails", author = "Ghosh, Shaona and Varshney, Prasoon and Sreedhar, Makesh Narsimhan and Padmakumar, Aishwarya and Rebedea, Traian and Varghese, Jibin Rajan and Parisien, Christopher", editor = "Chiruzzo, Luis and Ritter, Alan and Wang, Lu", booktitle = "Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers)", month = apr, year = "2025", address = "Albuquerque, New Mexico", publisher = "Association for Computational Linguistics", url = "https://aclanthology.org/2025.naacl-long.306/", doi = "10.18653/v1/2025.naacl-long.306", pages = "5992--6026", ISBN = "979-8-89176-189-6" }