Das Datensatz „CantTalkAboutThis Topic Control Dataset - Non Commercial“ wurde 2024 von NVIDIA veröffentlicht und konzentriert sich auf die Themensteuerung in Dialogen sowie die Sicherheitsausrichtung von Sprachmodellen. Die zugehörige Publikation ist CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues. Ziel des Datensatzes ist es, die Fähigkeit großer Sprachmodelle zu verbessern, in aufgabenorientierten Dialogen beim Thema zu bleiben, sowie ihre Robustheit gegenüber Störreizen zu erhöhen.

Der Datensatz umfasst 1080 synthetische Dialogbeispiele aus neun Bereichen: Gesundheit, Bankwesen, Reisen, Bildung, Finanzen, Versicherungen, Recht, Immobilien und Fehlerbehebung bei Computern. Jeder Dialog enthält Störsequenzen, die die Widerstandsfähigkeit des Modells gegen Themenabweichungen testen.

Durch Feinabstimmung auf diesem Datensatz kann die Leistung des Modells bei der Befolgung von Anweisungen und in sicherheitskritischen Aufgaben erheblich gesteigert werden, sodass es sensible Themen effektiv erkennen und eingeschränkte Inhalte handhaben kann.

Zusammensetzung des Datensatzes

Der Datensatz enthält hauptsächlich die folgenden Felder:

• domain: Der Bereich, dem der Dialog zugeordnet ist
• scenario: Das spezifische Szenario oder die Aufgabe, über die diskutiert wird
• system_instruction: Die dem Modell auferlegte Gegenstrategie, die in der Regel eine komplexe Anweisungsgruppe zu erlaubten und verbotenen Diskussionsthemen enthält
• conversation: Der vollständige Dialoginhalt, einschließlich Hauptthema und Störsequenzen
• distractors: Eine Liste der Störsequenzen, die die Bot-Sequenzen im Dialog sowie die Störsequenzen enthalten, die der Nutzer als Antwort auf die Bot-Sequenzen liefern soll
• conversation_with_distractors: Der vollständige Dialog einschließlich der Störsequenzen

Der Datensatz ist in einen Trainings- und einen Testdatensatz unterteilt. Der Trainingsdatensatz wurde mit dem GPT-4 Turbo Modell synthetisch generiert, während der Testdatensatz ein manuell annotiertes Bewertungsdokument ist, das komplexere und realistischere Störreize enthält, um die Modellleistung zu evaluieren.

Zitation

@inproceedings{sreedhar2024canttalkaboutthis,
  title={CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues},
  author={Sreedhar, Makesh and Rebedea, Traian and Ghosh, Shaona and Zeng, Jiaqi and Parisien, Christopher},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2024},
  pages={12232--12252},
  year={2024},
  organization={Association for Computational Linguistics}
}