CantTalkAboutThis Topic Control は、NVIDIA が2024年に公開した、タスク指向対話において言語モデルが話題の焦点を維持するよう訓練するためのデータセットです。関連する論文成果は「CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues」であり、モデルの妨害要素に対する耐性を向上させ、指示追従および安全タスクのアライメントを強化することを目的としています。

このデータセットには、健康、銀行、旅行、教育、金融、保険、法律、不動産、コンピューターのトラブルシューティングの9つの分野をカバーする1,080件の合成対話が含まれています。 各対話には妨害要素が含まれており、無関係な話題を扱う際のモデルのパフォーマンスをテストおよび改善するために使用されます。 このデータセットには個人の機密情報は含まれておらず、合成データによって生成されています。

データセットの構成

データセットには以下のフィールドが含まれています：

• domain：対話が属する分野
• scenario：議論されている具体的なシナリオまたはタスク
• system_instruction：モデルに与える対話戦略。通常、許可される話題と許可されない話題に関する複雑な指示のセット
• conversation：主要な話題と妨害要素を含む完全な対話
• distractors：妨害要素のリスト。対話中のボットの応答と、ユーザーがボットの応答への応答として含めるべき妨害要素が含まれます
• conversation_with_distractors：妨害要素を含む対話

データセットは、トレーニングセット（mixtral）とテストセット（human_test_set）の2つのサブセットに分かれています。トレーニングセットは Mixtral-8x7B-Instruct モデルに基づいて生成され、テストセットには人間が注釈を付けた、より複雑で現実的な妨害要素が含まれており、モデルのパフォーマンスを評価するために使用されます。

Citation

@inproceedings{sreedhar2024canttalkaboutthis,
  title={CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues},
  author={Sreedhar, Makesh and Rebedea, Traian and Ghosh, Shaona and Zeng, Jiaqi and Parisien, Christopher},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2024},
  pages={12232--12252},
  year={2024},
  organization={Association for Computational Linguistics}
}