CantTalkAboutThis Topic Control は、NVIDIA が 2024年に公開した、対話トピックの制御と言語モデルの安全性アライメントに特化したデータセットです。関連論文は「CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues」で発表されており、タスク指向会話において大規模言語モデル（LLM）が話題焦点を維持する能力を向上させ、妨害要素に対する堅牢性を強化することを目的としています。

このデータセットには 1,080 の合成対話サンプルが含まれており、ヘルスケア、銀行、旅行、教育、金融、保険、法務、不動産、コンピュータトラブルシューティングという9つの領域をカバーしています。各対話には、モデルの話題逸脱への耐性をテストするための妨害ターンが含まれています。

本データセットでのファインチューニングにより、指示遵守やセキュリティ関連タスクにおけるモデルのパフォーマンスを大幅に向上させることができ、機密性の高い話題の識別や制限されたコンテンツの処理を効果的に実行できるようになります。

データセット構成

データセットは主に以下のフィールドを含みます：

• domain：対話が属するドメイン
• scenario：議論されている具体的なシナリオまたはタスク
• system_instruction：モデルに付与される対流戦略。一般的に、許可および拒否すべき複雑な指示セットを含む
• conversation：主要な話題と妨害ターンを含む完全な対話内容
• distractors：妨害ターンのリスト。対話内のボットターンと、ユーザーがボットの応答として行うべき妨害ターンを含む
• conversation_with_distractors：妨害ターンを含む完全な対話

データセットはトレーニングセットとテストレートに分かれています。トレーニングセットは GPT-4 Turbo モデルによって合成生成され、テストレートはより複雑で現実的な妨害項を持つ人手による注釈付き評価用データセットであり、モデルパフォーマンスの評価に使用されます。

引用

@inproceedings{sreedhar2024canttalkaboutthis,
  title={CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues},
  author={Sreedhar, Makesh and Rebedea, Traian and Ghosh, Shaona and Zeng, Jiaqi and Parisien, Christopher},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2024},
  pages={12232--12252},
  year={2024},
  organization={Association for Computational Linguistics}
}