Das Thema „CantTalkAboutThis“ des Topic-Control-Datensatzes wurde von NVIDIA im Jahr 2024 veröffentlicht und konzentriert sich auf die Steuerung von Gesprächsthemen sowie das sichere Alignment von Sprachmodellen. Die zugehörige wissenschaftliche Arbeit ist unter «CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues» verfügbar. Ziel dieses Datensatzes ist es, die Fähigkeit großer Sprachmodelle zu verbessern, in aufgabenorientierten Dialogen den Fokus beizubehalten, und ihre Robustheit gegenüber Störelementen zu erhöhen.

Der Datensatz umfasst 1.080 synthetisch generierte Konversationsproben aus neun Bereichen: Gesundheit, Bankwesen, Reisen, Bildung, Finanzen, Versicherungswesen, Recht, Immobilien und Computerfehlerbehebung. Jede Unterhaltung enthält Ablenkungsrunden, mit denen getestet wird, wie widerstandsfähig ein Modell gegen Themenabweichungen ist. Durch Feinabstimmung an diesem Datensatz lässt sich die Leistung eines Modells bei der Befolgung von Anweisungen und sicherheitsrelevanten Aufgaben erheblich steigern; so kann es empfindliche Themen wirksam erkennen und mit eingeschränkten Inhalten umgehen.

Zusammensetzung des Datensatzes

Der Datensatz enthält hauptsächlich folgende Felder:

• Domain: Der Bereich, dem der Dialog angehört
• Scenario: Das spezifische Szenario oder die Aufgabe, über die gesprochen wird
• Systemanweisung: Die vorgegebene Strategie für den Fluss des Dialogs, meist bestehend aus komplexen Regeln zur Erlaubnis und Verbot bestimmter Diskussionsthemen
• Conversation: Vollständiger Inhalt der Unterhaltung einschließlich Hauptthema und Ablenkungsrunden
• Distraktoren: Liste der Ablenkungsrunden, welche sowohl Bot-Antworten als auch Benutzerantworten enthalten sollen, die als Reaktion auf Bots dienen
• Conversation_mit_Distraktoren: Komplette Unterhaltungssequenz inklusive aller Ablenkungselemente

Der Datensatz besteht aus einem Trainingsset und einem Testset. Während das Trainingssatz durch das GPT-4-Turbo-Modell erzeugt wurde, handelt es sich beim Testsatz um manuell annotiertes Evaluationsmaterial mit anspruchsvolleren und realistischeren Ablenkungen, um die Fähigkeiten des Modells genau beurteilen zu können.

Zitation

@inproceedings{sreedhar2024canttalkaboutthis,
  title={CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues},
  author={Sreedhar, Makesh and Rebedea, Traian and Ghosh, Shaona and Zeng, Jiaqi and Parisien, Christopher},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2024},
  pages={12232--12252},
  year={2024},
  organization={Association for Computational Linguistics}
}