Nemotron-SFT-Safety-v1은 NVIDIA가 2025년에 공개한 안전 정렬 데이터셋으로, 오픈 소스 기반 프롬프트와 합성 생성 응답을 결합하여 감독 미세 조정(SFT)에 활용할 수 있습니다. 이 데이터셋은 모델의 유해한 출력 감소, 과도한 거부 완화, 편견 감소, 민감한 콘텐츠 유출 방지를 지원하며, 대규모 언어 모델의 콘텐츠 안전성, 탈옥 방어 및 안전 행동 정렬 능력을 향상시키는 것을 목표로 합니다.

데이터셋은 45,145개의 샘플로 구성되어 있으며 JSONL 형식을 채택하고, 주로 프롬프트와 합성 생성된 안전 응답으로 이루어져 있습니다. 지식 공유 서명 4.0 국제 라이선스(CC BY 4.0)에 따라 배포되며, 보완 라이선스로 Apache 2.0 및 MIT가 포함됩니다.

데이터셋 구성

• 콘텐츠 안전성(25,536개): Nemotron Content Safety Dataset v2, Gretel Safety Alignment Dataset v1 및 합성 생성된 민감한 카테고리 프롬프트가 포함되며, 자해, 폭력, 범죄 계획 등 위험을 다룹니다.
• 탈옥 강건성(9,653개): HarmfulTasks, RedTeam 2k 및 합성 생성된 탈옥 및 잠재적 프롬프트 주입 데이터가 포함되며, 모델의 공격 방어 능력을 향상시키는 데 사용됩니다.
• 과도한 거부 완화(7,023개): 구문적으로 유사하지만 의미적으로 다른 대조 프롬프트를 구성하여 모델이 정상적인 요청을 불필요하게 거부하는 것을 줄이는 데 도움이 됩니다.
• 편견 감소(2,000개): 연령 등 인구 통계학적 특성과 관련된 편견을 다루며, 모델이 차별적인 응답을 생성하는 경향을 줄입니다.
• 민감한 콘텐츠 유출 방지(933개): 모델이 저작권으로 보호될 수 있는 콘텐츠를 유출할 가능성을 낮추는 데 사용됩니다.