Nemotron Content Safety Dataset V2는 NVIDIA가 2025년에 공개한 대규모 언어 모델의 콘텐츠 안전성 및 위험 평가에 특화된 데이터셋으로, 견고한 AI 안전 가드레일 모델을 훈련하기 위한 고품질 다중 턴 대화 주석 데이터를 제공하는 것을 목표로 합니다.

이 데이터셋은 33,416개의 인간-기계 상호작용 샘플로 구성되며, 30,007개의 훈련 샘플, 1,445개의 검증 샘플, 1,964개의 테스트 샘플을 포함합니다. 데이터셋은 12개의 최상위 위험 범주와 9개의 세부 하위 범주를 포함하는 포괄적인 위험 분류 체계를 따르며, LLM의 콘텐츠 검열 및 정렬 시스템 구축에 적합합니다. 데이터는 Anthropic HH-RLHF 프롬프트를 기반으로 하며, Mistral-7B-v0.1 모델을 사용하여 응답을 생성하고, 인간 주석과 다중 LLM 배심원 시스템을 결합하여 안전성 분류를 수행합니다.

데이터셋 구성

• id: 샘플의 식별자.
• prompt: 사용자의 첫 번째 턴 대화. Suicide Detection 데이터셋에서 가져와 비식별화된 경우 "REDACTED"로 표시되며, reconstruction_id_if_redacted를 통해 원본 데이터와 연결됩니다.
• response: 어시스턴트의 첫 번째 턴 응답. 프롬프트 전용 샘플인 경우 null 또는 빈 문자열일 수 있습니다.
• prompt_label: 프롬프트의 이진 안전성 라벨.
• response_label: 응답의 이진 안전성 라벨. 프롬프트 전용 샘플인 경우 null입니다.
• prompt_label_source: 라벨링 출처로, 항상 human(인간)입니다.
• response_label_source: 응답 라벨링 출처로, human(인간), llm_jury(LLM 배심원) 또는 refusal_data_augmentation(거부 데이터 증강)을 포함합니다.
• violated_categories: 쉼표로 구분된 위험 범주 목록으로, 라벨링 빈도순으로 정렬됩니다.

Citation

@inproceedings{ghosh-etal-2025-aegis2,
    title = "{AEGIS}2.0: A Diverse {AI} Safety Dataset and Risks Taxonomy for Alignment of {LLM} Guardrails",
    author = "Ghosh, Shaona and Varshney, Prasoon and Sreedhar, Makesh Narsimhan and Padmakumar, Aishwarya and Rebedea, Traian and Varghese, Jibin Rajan and Parisien, Christopher",
    editor = "Chiruzzo, Luis and Ritter, Alan and Wang, Lu",
    booktitle = "Proceedings of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Volume 1: Long Papers)",
    month = apr,
    year = "2025",
    address = "Albuquerque, New Mexico",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2025.naacl-long.306/",
    doi = "10.18653/v1/2025.naacl-long.306",
    pages = "5992--6026",
    ISBN = "979-8-89176-189-6"
}