Überblick über den Datensatz

Der CantTalkAboutThis Topic Control Dataset - Non Commercial ist ein von NVIDIA im Jahr 2024 veröffentlichter Datensatz, der sich auf die Steuerung von Gesprächsthemen und das sichere Alignment von Sprachmodellen konzentriert. Die zugehörige wissenschaftliche Publikation finden Sie unter „CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues“. Ziel des Projekts ist es, die Fähigkeit großer Sprachmodelle zu verbessern, bei anwendungsorientierten Dialogen den Fokus beizubehalten, sowie ihre Robustheit gegenüber Störfaktoren zu erhöhen.

Dieser Datensatz umfasst 1.080 synthetisch generierte Konversationsbeispiele aus neun Bereichen: Gesundheit, Bankenwesen, Reisen, Bildung, Finanzen, Versicherungswesen, Rechtswesen, Immobilien und Computertechnik-Fehlerbehebung. Jede Unterhaltung enthält spezifische Ablenkungsrunden („Distractor Turns“), mit denen getestet wird, wie widerstandsfähig Modelle gegen Themenabweichungen sind. Durch Feinabstimmung auf diesem Datensatz lässt sich die Leistung von Modellen bei der Befolgung von Anweisungen und sicherheitsrelevanten Aufgaben signifikant steigern; sie lernen so beispielsweise sensible Themen korrekt zu erkennen und mit eingeschränkten Inhalten angemessen umzugehen.

Zusammensetzung des Datensatzes

Der Datensatz beinhaltet hauptsächlich folgende Felder:

• domain: Der Bereich oder die Domäne, zu dem der Dialog gehört.
• scenario: Das konkrete Szenario oder die Aufgabe, die diskutiert wird.
• system_instruction: Dem Modell zugewiesene Richtlinien zur Gesprächssteuerung, welche meist komplexe Sets erlaubter und verbotener Diskussionspunkte enthalten.
• conversation: Der vollständige Inhalt des Dialogs einschließlich Hauptthema und Ablenkungsrunden.
• distractors: Eine Liste der Ablenkungsrunden, bestehend aus Bot-Antworten sowie Benutzerantworten als Reaktion darauf.
• conversation_with_distractors: Der komplette Dialog inklusive aller eingebauten Ablenkungselemente.

Der Datensatz ist in Trainings- und Testdaten unterteilt. Während die Trainingsdaten vom Modell GPT-4 Turbo synthetisiert wurden, handelt es sich beim Testdatensatz um manuell annotierte Evaluierungsdaten, die komplexere und realistischere Ablenkungen enthalten, um die Modellleistung präziser beurteilen zu können.

Zitation

@inproceedings{sreedhar2024canttalkaboutthis,
  title={CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues},
  author={Sreedhar, Makesh and Rebedea, Traian and Ghosh, Shaona and Zeng, Jiaqi and Parisien, Christopher},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2024},
  pages={12232--12252},
  year={2024},
  organization={Association for Computational Linguistics}
}