データセット概要

CantTalkAboutThis Topic Control Dataset は、タスク指向の対話において言語モデルが話題に集中し続けるように訓練するためのデータセットで、NVIDIA により 2024年に公開されました。関連する論文は「CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues」です。このデータセットは、モデルが妨害要因に対する耐性を高め、指示遵守や安全なタスクのアラインメント能力を強化することを目的としています。

本データセットには、医療、銀行、旅行、教育、金融、保険、法務、不動産、PCトラブルシューティングという9つの分野にわたる1,080件の合成対話が収録されています。各対話には妨害要素が含まれており、無関係な話題への対処におけるモデルのパフォーマンスを検証・改善するために使用されます。個人機密情報は含まれず、すべて合成データから生成されています。

データセット構成

データセットには以下のフィールドがあります：

• domain：対話が属するドメイン
• scenario：議論されている具体的なシナリオまたはタスク
• system_instruction：モデルに対して与えられる対話戦略であり、一般的に許可および禁止される話題に関する複雑な指示のセットを含む
• conversation：主要な話題と妨害要素を含んだ完全な対話
• distractors：妨害要素のリスト。これには対話内のボットの応答と、ユーザーがボットからの応答として返すべき妨害要素が含まれる
• conversation_with_distractors：妨害要素を組み込んだ対話

データセットはトレーニング用サブセット（mixtral）とテスト用サブセット（human_test_set）に分かれています。トレーニング用はMixtral-8x7B-Instruct モデルに基づいて生成され、テスト用にはより複雑で現実的な手動注釈付きの妨害要素が含まれており、モデルパフォーマンスの評価に利用されます。

引用文献

@inproceedings{sreedhar2024canttalkaboutthis,
  title={CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues},
  author={Sreedhar, Makesh and Rebedea, Traian and Ghosh, Shaona and Zeng, Jiaqi and Parisien, Christopher},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2024},
  pages={12232--12252},
  year={2024},
  organization={Association for Computational Linguistics}
}