Nemotron Content Safety Dataset V1 ist ein von NVIDIA veröffentlichtes Open-Source-Datenset für Inhaltssicherheit, ursprünglich bekannt als Aegis AI Content Safety Dataset. Das zugehörige Paper ist AEGIS: Online Adaptive AI Content Safety Moderation with Ensemble of LLM Experts, das darauf abzielt, den Aufbau von Inhaltsmoderationsmechanismen für große Sprachmodelle zu unterstützen und die Fähigkeit der Modelle zu verbessern, sichere Antworten zu generieren.

Das Datenset umfasst 11.997 manuell annotierte Stichproben, darunter 10.798 im Trainingsset und 1.199 im Testset. Die Daten-Prompts stammen aus Anthropic HH-RLHF, die Antworten wurden von Mistral-7B-v0.1 generiert, und die Annotation wurde von 12 Annotatoren und 2 Qualitätssicherungspersonen von NVIDIA durchgeführt.

Zusammensetzung des Datensets

Das Datenset umfasst ein Trainingsset und ein Testset und enthält hauptsächlich folgende Inhalte:

• Datenformate: Umfasst vier Formen: nur Benutzer-Prompts, System-Prompts mit Benutzer-Prompts, Einzelrunden-Dialoge und Mehrrunden-Dialoge.
• Annotationskategorien: Umfasst Kategorien wie Hassrede, sexuelle Inhalte, Gewalt, Selbstmord und Selbstverletzung, Drohungen, sexuelle Inhalte mit Minderjährigen, Schusswaffen und illegale Waffen, regulierte Substanzen, kriminelle Pläne, persönliche Privatsphäre-Informationen, Belästigung, vulgäre Sprache, Sonstiges und Vorsicht erforderlich.
• Datenfelder: Umfasst Stichproben-ID, Dialogtext, Texttyp, Anzahl der Annotationen und mehrere Gruppen von Sicherheitslabels.
• Datenverwendung: Wird für Inhaltsmoderation, Sicherheitsausrichtung und verwandte Forschung verwendet und kann überwachtes Feintuning (SFT) und direkte Präferenzoptimierung (DPO) unterstützen.

Zitation

@article{ghosh2024aegis,
    title={AEGIS: Online Adaptive AI Content Safety Moderation with Ensemble of LLM Experts},
    author={Ghosh, Shaona and Varshney, Prasoon and Galinkin, Erick and Parisien, Christopher},
    journal={arXiv preprint arXiv:2404.05993},
    year={2024}
}