CantTalkAboutThis Topic Control Dataset - Non Commercial は、NVIDIA が 2024 年に公開した、会話トピック制御と大規模言語モデルの安全性アライメントに特化したデータセットです。関連する論文は CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues です。このデータセットは、タスク指向の会話における大規模言語モデルのトピック焦点維持能力を向上させ、ノイズに対する頑健性を強化することを目的としています。

このデータセットには 1080 件の合成会話サンプルが含まれており、ヘルスケア、銀行、旅行、教育、金融、保険、法律、不動産、コンピュータ故障解決の 9 つの分野をカバーしています。各会話には、モデルのトピック逸脱耐性をテストするための妨害ターンが含まれています。 本データセットを用いたファインチューニングにより、モデルの指示遵循および安全タスクにおけるパフォーマンスが大幅に向上し、機微なトピックの識別や制限コンテンツへの対処が効果的に行えるようになります。

データセット構成

データセットには主に以下のフィールドが含まれます：

• domain：会話の所属分野
• scenario：議論されている具体的なシナリオまたはタスク
• system_instruction：モデルに付与される対話戦略で、通常、議論を許可するものと禁止するものの複雑な指示セットを含みます
• conversation：主要なトピックと妨害ターンを含む、完全な会話内容
• distractors：妨害ターンのリスト。会話内のボットターンと、ボットターンに対する応答としてユーザーが提示すべき妨害ターンを含みます
• conversation_with_distractors：妨害ターンを含む完全な会話

データセットは訓練セットとテストセットに分割されており、訓練セットは GPT-4 Turbo モデルによって合成生成され、テストセットは人間がアノテーションした評価データセットで、より複雑で現実的な妨害項が含まれ、モデル性能の評価に使用されます。

引用

@inproceedings{sreedhar2024canttalkaboutthis,
  title={CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues},
  author={Sreedhar, Makesh and Rebedea, Traian and Ghosh, Shaona and Zeng, Jiaqi and Parisien, Christopher},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2024},
  pages={12232--12252},
  year={2024},
  organization={Association for Computational Linguistics}
}