Aperçu du jeu de données

Le jeu de données Contrôle des sujets de conversation CantTalkAboutThisTopic – Usage non commercial est publié par NVIDIA en 2024 et se concentre sur le contrôle des sujets dans les conversations ainsi que sur l’alignement sécuritaire des modèles linguistiques. Les résultats associés sont présentés dans la publication scientifique « CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues ». Ce jeu vise à améliorer la capacité des grands modèles de langage (LLM) à maintenir un focus thématique lors de dialogues orientés vers une tâche, tout en renforçant leur robustesse face aux éléments perturbateurs.

Ce jeu contient 1 080 exemples synthétiques de dialogues couvrant neuf domaines : santé, banque, voyages, éducation, finance, assurance, droit, immobilier et dépannage informatique. Chaque dialogue inclut des tours interactifs conçus pour tester la résistance du modèle aux écarts thématiques induits par ces éléments perturbateurs. L’utilisation d’un fine-tuning sur ce jeu permet d’améliorer significativement les performances du modèle dans le respect des consignes et dans les tâches liées à la sécurité, lui permettant notamment d’identifier efficacement les sujets sensibles et de gérer les contenus restreints.

Composition du jeu de données

Le jeu comprend principalement les champs suivants :

• domain : domaine auquel appartient la conversation
• scenario : scène ou tâche spécifique discutée
• system_instruction : stratégie de flux attribuée au modèle, contenant généralement un ensemble complexe d’instructions autorisant ou interdisant certains sujets
• conversation : contenu complet de la conversation, incluant le sujet principal et les tours perturbateurs
• distractors : liste des tours perturbateurs, comprenant les interventions du robot ainsi que celles de l’utilisateur destinées à servir de réponses appropriées aux interventions du robot
• conversation_with_distractors : conversation complète intégrant les tours perturbateurs

Le jeu est divisé en deux parties : un ensemble d’entraînement généré de manière synthétique via le modèle GPT‑4 Turbo, et un ensemble de test constitué de données annotées manuellement servant à l’évaluation. Cet ensemble de test intègre des éléments perturbateurs plus complexes et réalistes afin d’évaluer précisément les performances du modèle.

Référence bibliographique

@inproceedings{sreedhar2024canttalkaboutthis,
  title={CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues},
  author={Sreedhar, Makesh and Rebedea, Traian and Ghosh, Shaona and Zeng, Jiaqi and Parisien, Christopher},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2024},
  pages={12232--12252},
  year={2024},
  organization={Association for Computational Linguistics}
}