Nemotron Content Safety Dataset V1은 NVIDIA가 공개한 오픈소스 콘텐츠 안전 데이터셋으로, 원래 이름은 Aegis AI Content Safety Dataset이며, 관련 논문은 AEGIS: Online Adaptive AI Content Safety Moderation with Ensemble of LLM Experts로, 대규모 언어 모델의 콘텐츠 검열 메커니즘을 구축하고 모델이 안전한 응답을 생성하는 능력을 향상시키는 것을 목표로 합니다.

데이터셋은 11,997개의 수동 주석 샘플로 구성되어 있으며, 그중 훈련 세트는 10,798개, 테스트 세트는 1,199개입니다. 데이터 프롬프트는 Anthropic HH-RLHF에서 비롯되었으며, 응답은 Mistral-7B-v0.1로 생성되었고, 주석 작업은 NVIDIA의 12명의 주석 작업자와 2명의 품질 보증 담당자가 수행했습니다.

데이터셋 구성

데이터셋은 훈련 세트와 테스트 세트로 구성되며, 주로 다음 내용을 포함합니다:

• 데이터 형식: 사용자 프롬프트만, 시스템 프롬프트와 사용자 프롬프트, 단일 턴 대화, 다중 턴 대화의 네 가지 형식을 포함합니다.
• 주석 범주: 혐오 발언, 성적 콘텐츠, 폭력, 자살 및 자해, 위협, 미성년자 성적 콘텐츠, 총기 및 불법 무기, 규제 물질, 범죄 계획, 개인 프라이버시 정보, 괴롭힘, 저속한 언어, 기타 및 주의 필요 등의 범주를 포함합니다.
• 데이터 필드: 샘플 ID, 대화 텍스트, 텍스트 유형, 주석 수 및 여러 안전 라벨 그룹을 포함합니다.
• 데이터 용도: 콘텐츠 검열, 안전 정렬 및 관련 연구에 사용되며, 지도 미세 조정(SFT) 및 직접 선호도 최적화(DPO)를 지원할 수 있습니다.

Citation

@article{ghosh2024aegis,
    title={AEGIS: Online Adaptive AI Content Safety Moderation with Ensemble of LLM Experts},
    author={Ghosh, Shaona and Varshney, Prasoon and Galinkin, Erick and Parisien, Christopher},
    journal={arXiv preprint arXiv:2404.05993},
    year={2024}
}