Cant Talk About This-NC ist ein von NVIDIA im Jahr 2024 veröffentlichtes Datenset, das sich auf die Kontrolle von Gesprächsthemen und die Sicherheitsausrichtung von Sprachmodellen konzentriert. Die zugehörige Forschungspublikation ist „CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues" und zielt darauf ab, die Fähigkeit großer Sprachmodelle zu verbessern, in aufgabenorientierten Dialogen den Fokus auf das Thema zu halten und die Robustheit gegenüber Ablenkungen zu erhöhen.

Das Datenset umfasst 1.186 synthetische Dialogbeispiele aus neun Bereichen, darunter Gesundheit, Bankwesen, Reisen, Bildung, Finanzen, Versicherungen, Recht, Immobilien und Computer-Fehlerbehebung. Jeder Dialog enthält Ablenkungsrunden, die die Fähigkeit des Modells testen, Themenabweichungen zu widerstehen. Durch Feinabstimmung mit diesem Datenset kann die Leistung des Modells bei instruktionsbefolgenden und sicherheitsrelevanten Aufgaben erheblich verbessert werden, sodass es sensible Themen effektiv erkennen und eingeschränkte Inhalte verarbeiten kann.

Zusammensetzung des Datensets

Das Datenset enthält hauptsächlich die folgenden Felder:

• domain: Der Bereich, zu dem der Dialog gehört
• scenario: Das spezifische Szenario oder die Aufgabe, die diskutiert wird
• system_instruction: Die dem Modell zugewiesene Dialogstrategie, die in der Regel komplexe Anweisungssätze enthält, die erlaubte und verbotene Diskussionsthemen festlegen
• conversation: Der vollständige Dialoginhalt, einschließlich Hauptthemen und Ablenkungsrunden
• distractors: Liste der Ablenkungsrunden, einschließlich der Bot-Runden im Dialog sowie der Ablenkungsrunden, die der Benutzer als Antwort auf die Bot-Runden geben soll
• conversation_with_distractors: Der vollständige Dialog einschließlich der Ablenkungsrunden

Das Datenset ist in Trainings- und Testsets unterteilt und wurde synthetisch auf Basis von Llama-Modellen generiert. Es dient zur Bewertung der Fähigkeit von Modellen, Themenabweichungen zu widerstehen und das Gesprächsthema stabil zu halten. Die Lizenz ist CC-BY-NC-4.0 und nur für nicht-kommerzielle wissenschaftliche Nutzung gestattet.

Citation

@inproceedings{sreedhar2024canttalkaboutthis,
  title={CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues},
  author={Sreedhar, Makesh and Rebedea, Traian and Ghosh, Shaona and Zeng, Jiaqi and Parisien, Christopher},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2024},
  pages={12232--12252},
  year={2024},
  organization={Association for Computational Linguistics}
}