CantTalkAboutThis Topic Control Dataset - Non Commercial est un ensemble de données publié par NVIDIA en 2024, axé sur le contrôle des sujets de conversation et l'alignement sécuritaire des modèles de langage. Les résultats de recherche associés sont présentés dans l'article « CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues ». Il vise à améliorer la capacité des grands modèles de langage à rester concentrés sur le sujet lors de conversations orientées vers une tâche et à renforcer leur robustesse face aux éléments perturbateurs.

Cet ensemble de données comprend 1080 échantillons de conversations synthétiques, couvrant neuf domaines : la santé, la banque, les voyages, l'éducation, la finance, l'assurance, le droit, l'immobilier et le dépannage informatique. Chaque conversation inclut des tours de conversation perturbateurs destinés à tester la résistance du modèle à la déviation thématique. Le fine-tuning sur cet ensemble de données permet d'améliorer considérablement les performances du modèle dans le suivi des instructions et les tâches sécurisées, lui permettant d'identifier efficacement les sujets sensibles et de traiter les contenus restreints.

Composition du jeu de données

L'ensemble de données contient principalement les champs suivants :

• domain : le domaine auquel la conversation appartient
• scenario : la situation spécifique ou la tâche en cours de discussion
• system_instruction : la stratégie de flux attribuée au modèle, contenant généralement un ensemble complexe d'instructions sur les sujets autorisés et interdits
• conversation : le contenu complet de la conversation, incluant le sujet principal et les tours perturbateurs
• distractors : une liste de tours perturbateurs, contenant les tours du robot ainsi que les tours perturbateurs que l'utilisateur est censé fournir en réponse aux tours du robot
• conversation_with_distractors : la conversation complète incluant les tours perturbateurs

L'ensemble de données est divisé en un ensemble d'entraînement et un ensemble de test. L'ensemble d'entraînement est généré synthétiquement par le modèle GPT-4 Turbo, tandis que l'ensemble de test est un ensemble de données d'évaluation annoté manuellement. Il contient des éléments perturbateurs plus complexes et plus réalistes, utilisés pour évaluer les performances du modèle.

Citation

@inproceedings{sreedhar2024canttalkaboutthis,
  title={CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues},
  author={Sreedhar, Makesh and Rebedea, Traian and Ghosh, Shaona and Zeng, Jiaqi and Parisien, Christopher},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2024},
  pages={12232--12252},
  year={2024},
  organization={Association for Computational Linguistics}
}