CantTalkAboutThis Topic Control est un ensemble de données publié par NVIDIA en 2024, conçu pour entraîner des modèles de langage à maintenir le focus thématique dans les dialogues orientés vers des tâches. Le document de recherche associé est « CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues », visant à améliorer la résistance des modèles aux éléments perturbateurs et à renforcer l'alignement sur le respect des instructions et les tâches de sécurité.

Cet ensemble de données contient 1 080 dialogues synthétiques couvrant neuf domaines : santé, banque, voyage, éducation, finance, assurance, droit, immobilier et dépannage informatique. Chaque dialogue inclut des éléments perturbateurs pour tester et améliorer les performances du modèle face à des sujets hors sujet. Cet ensemble de données ne contient aucune information personnelle sensible, car il est généré à partir de données synthétiques.

Composition de l'ensemble de données

L'ensemble de données comprend les champs suivants :

• domain : le domaine auquel appartient le dialogue
• scenario : le scénario ou la tâche spécifique en cours de discussion
• system_instruction : la stratégie de dialogue donnée au modèle, généralement un ensemble d'instructions complexes concernant les sujets autorisés et interdits
• conversation : le dialogue complet, incluant le sujet principal et les éléments perturbateurs
• distractors : la liste des éléments perturbateurs, comprenant les réponses du robot dans le dialogue et les éléments perturbateurs que l'utilisateur doit inclure en réponse aux réponses du robot
• conversation_with_distractors : le dialogue incluant les éléments perturbateurs

L'ensemble de données est divisé en deux sous-ensembles : l'ensemble d'entraînement (mixtral) et l'ensemble de test (human_test_set). L'ensemble d'entraînement est généré à partir du modèle Mixtral-8x7B-Instruct, tandis que l'ensemble de test contient des éléments perturbateurs plus complexes et plus réalistes, annotés manuellement, pour évaluer les performances du modèle.

Citation

@inproceedings{sreedhar2024canttalkaboutthis,
  title={CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues},
  author={Sreedhar, Makesh and Rebedea, Traian and Ghosh, Shaona and Zeng, Jiaqi and Parisien, Christopher},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2024},
  pages={12232--12252},
  year={2024},
  organization={Association for Computational Linguistics}
}