CantTalkAboutThis Topic Control ist ein von NVIDIA im Jahr 2024 veröffentlichtes Datenset zum Training von Sprachmodellen, um in aufgabenorientierten Dialogen den Themenfokus zu behalten. Die zugehörige Forschungspublikation ist „CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues", die darauf abzielt, die Widerstandsfähigkeit von Modellen gegenüber Störfaktoren zu verbessern und die Ausrichtung von Anweisungsbefolgung und Sicherheitsaufgaben zu stärken.

Das Datenset umfasst 1.080 synthetische Dialoge, die neun Bereiche abdecken: Gesundheit, Bankwesen, Reisen, Bildung, Finanzen, Versicherung, Recht, Immobilien und Computer-Fehlerbehebung. Jeder Dialog enthält Störfaktoren, um die Leistung des Modells im Umgang mit irrelevanten Themen zu testen und zu verbessern. Das Datenset enthält keine persönlichen sensiblen Informationen und wird durch synthetische Datengenerierung erstellt.

Zusammensetzung des Datensets

Das Datenset enthält die folgenden Felder:

• domain: Der Bereich, zu dem der Dialog gehört
• scenario: Das spezifische Szenario oder die Aufgabe, die gerade besprochen wird
• system_instruction: Die Dialogstrategie für das Modell, in der Regel eine Reihe komplexer Anweisungen zu erlaubten und nicht erlaubten Themen
• conversation: Der vollständige Dialog, einschließlich Hauptthema und Störfaktoren
• distractors: Die Liste der Störfaktoren, einschließlich der Roboterantworten im Dialog und der Störfaktoren, die der Benutzer als Antwort auf die Roboterantworten einbeziehen soll
• conversation_with_distractors: Der Dialog, der die Störfaktoren enthält

Das Datenset ist in zwei Teilmengen unterteilt: Trainingsset (mixtral) und Testset (human_test_set). Das Trainingsset basiert auf dem Mixtral-8x7B-Instruct-Modell, während das Testset manuell annotierte, komplexere und realistischere Störfaktoren enthält, um die Modellleistung zu bewerten.

Citation

@inproceedings{sreedhar2024canttalkaboutthis,
  title={CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues},
  author={Sreedhar, Makesh and Rebedea, Traian and Ghosh, Shaona and Zeng, Jiaqi and Parisien, Christopher},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2024},
  pages={12232--12252},
  year={2024},
  organization={Association for Computational Linguistics}
}