Nemotron Content Safety Dataset V2 ist ein von NVIDIA im Jahr 2025 veröffentlichtes Datenset, das sich auf die Sicherheits- und Risikobewertung von Inhalten großer Sprachmodelle konzentriert. Es zielt darauf ab, hochwertige mehrrundige Dialog-Annotationsdaten für das Training robuster KI-Sicherheitsleitplankenmodelle bereitzustellen.

Das Datenset enthält 33.416 Mensch-Computer-Interaktionsproben, darunter 30.007 Trainingsproben, 1.445 Validierungsproben und 1.964 Testproben. Das Datenset folgt einer umfassenden Risikotaxonomie mit 12 übergeordneten Gefahrenkategorien und 9 feineren Unterkategorien und eignet sich für den Aufbau von Inhaltsmoderations- und Ausrichtungssystemen für LLMs. Die Daten basieren auf Anthropic HH-RLHF-Prompts, wobei Antworten mit dem Modell Mistral-7B-v0.1 generiert und die Sicherheitsklassifizierung durch menschliche Annotation sowie ein Multi-LLM-Jury-System durchgeführt wird.

Datenbestandteile

• id: Kennung der Probe.
• prompt: Die erste Gesprächsrunde des Benutzers. Wenn sie aus dem Suicide-Detection-Datenset stammt und desensibilisiert wurde, wird hier "REDACTED" angezeigt, und die Originaldaten werden über reconstruction_id_if_redacted verknüpft.
• response: Die erste Antwort des Assistenten. Bei nur-Prompt-Proben kann sie null oder eine leere Zeichenfolge sein.
• prompt_label: Binäres Sicherheitslabel des Prompts.
• response_label: Binäres Sicherheitslabel der Antwort. Bei nur-Prompt-Proben ist sie null.
• prompt_label_source: Quelle der Annotation, immer human (menschlich).
• response_label_source: Quelle der Antwortannotation, einschließlich human (menschlich), llm_jury (LLM-Jury) oder refusal_data_augmentation (Verweigerungsdaten-Augmentierung).
• violated_categories: Kommagetrennte Liste der Gefahrenkategorien, sortiert nach Annotationshäufigkeit.

Zitierung

@inproceedings{ghosh-etal-2025-aegis2,
    title = "{AEGIS}2.0: A Diverse {AI} Safety Dataset and Risks Taxonomy for Alignment of {LLM} Guardrails",
    author = "Ghosh, Shaona and Varshney, Prasoon and Sreedhar, Makesh Narsimhan and Padmakumar, Aishwarya and Rebedea, Traian and Varghese, Jibin Rajan and Parisien, Christopher",
    editor = "Chiruzzo, Luis and Ritter, Alan and Wang, Lu",
    booktitle = "Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers)",
    month = apr,
    year = "2025",
    address = "Albuquerque, New Mexico",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2025.naacl-long.306/",
    doi = "10.18653/v1/2025.naacl-long.306",
    pages = "5992--6026",
    ISBN = "979-8-89176-189-6"
}