Cant Talk About This-NC est un ensemble de données publié par NVIDIA en 2024, axé sur le contrôle des sujets de conversation et l'alignement sécuritaire des modèles de langage. Le document de recherche associé est «CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues», visant à améliorer la capacité des grands modèles de langage à maintenir un focus thématique dans les dialogues orientés tâches et à renforcer leur robustesse face aux éléments perturbateurs.

Cet ensemble de données contient 1 186 échantillons de dialogues synthétiques, couvrant neuf domaines tels que la santé, la banque, le voyage, l'éducation, la finance, l'assurance, le droit, l'immobilier et le dépannage informatique. Chaque dialogue inclut des tours perturbateurs destinés à tester la résistance du modèle aux déviations thématiques. En effectuant un fine-tuning sur cet ensemble de données, on peut considérablement améliorer les performances du modèle dans les tâches de suivi d'instructions et de sécurité, lui permettant d'identifier efficacement les sujets sensibles et de traiter les contenus restreints.

Composition de l'ensemble de données

L'ensemble de données comprend principalement les champs suivants :

• domain : le domaine auquel appartient le dialogue
• scenario : le scénario ou la tâche spécifique en cours de discussion
• system_instruction : la stratégie de dialogue attribuée au modèle, contenant généralement des ensembles d'instructions complexes autorisant et interdisant certaines discussions
• conversation : le contenu complet du dialogue, y compris les tours principaux et les tours perturbateurs
• distractors : la liste des tours perturbateurs, comprenant les tours du robot dans le dialogue ainsi que les tours perturbateurs que l'utilisateur doit utiliser en réponse aux tours du robot
• conversation_with_distractors : le dialogue complet incluant les tours perturbateurs

L'ensemble de données est divisé en ensembles d'entraînement et de test, générés synthétiquement à partir des modèles de la série Llama, afin d'évaluer la capacité du modèle à résister aux déviations thématiques et à maintenir la stabilité du sujet de conversation. Le protocole est CC-BY-NC-4.0, réservé à un usage de recherche non commercial.

Citation

@inproceedings{sreedhar2024canttalkaboutthis,
  title={CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues},
  author={Sreedhar, Makesh and Rebedea, Traian and Ghosh, Shaona and Zeng, Jiaqi and Parisien, Christopher},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2024},
  pages={12232--12252},
  year={2024},
  organization={Association for Computational Linguistics}
}