Nemotron-SFT-Safety-v1 ist ein von NVIDIA im Jahr 2025 veröffentlichtes Sicherheitsausrichtungs-Dataset. Es kombiniert öffentlich gesammelte Prompts mit synthetisch generierten Antworten und kann für das überwachte Feintuning (SFT) verwendet werden, um schädliche Ausgaben zu reduzieren, übermäßige Verweigerungen zu mildern, Voreingenommenheit zu verringern und die Offenlegung sensibler Inhalte zu verhindern. Ziel ist es, die Fähigkeiten großer Sprachmodelle in Bereichen wie Inhaltssicherheit, Verteidigung gegen Jailbreaking und Ausrichtung auf sicheres Verhalten zu verbessern.

Das Dataset umfasst 45.145 Beispiele im JSONL-Format und besteht hauptsächlich aus Prompts und synthetisch generierten sicheren Antworten. Es steht unter der Creative Commons Attribution 4.0 International License (CC BY 4.0). Zusätzliche Lizenzen umfassen Apache 2.0 und MIT.

Zusammensetzung des Datasets

• Inhaltssicherheit (25.536 Beispiele): Die Quellen umfassen das Nemotron Content Safety Dataset v2, das Gretel Safety Alignment Dataset v1 sowie synthetisch generierte Prompts zu sensiblen Kategorien, die Risiken wie Selbstverletzung, Gewalt und die Planung von Straftaten abdecken.
• Robustheit gegen Jailbreaking (9.653 Beispiele): Die Quellen umfassen HarmfulTasks, RedTeam 2k sowie synthetisch generierte Daten zu Jailbreaking und potenziellen Prompt-Injection-Angriffen, um die Fähigkeit des Modells zu verbessern, Angriffen zu widerstehen.
• Milderung übermäßiger Verweigerungen (7.023 Beispiele): Durch die Konstruktion von Kontrast-Prompts, die syntaktisch ähnlich, aber semantisch unterschiedlich sind, wird das Modell dabei unterstützt, unnötige Verweigerungen bei normalen Anfragen zu reduzieren.
• Verringerung von Voreingenommenheit (2.000 Beispiele): Adressiert wird Voreingenommenheit in Bezug auf demografische Merkmale wie das Alter, um die Tendenz des Modells zu verringern, diskriminierende Antworten zu generieren.
• Schutz vor der Offenlegung sensibler Inhalte (933 Beispiele): Dient dazu, das Risiko zu senken, dass das Modell möglicherweise urheberrechtlich geschützte Inhalte offenlegt.