Cant Talk About This-NC は、NVIDIA が2024年に公開した、対話の話題制御と言語モデルの安全性アライメントに特化したデータセットであり、関連する論文成果は「CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues」であり、大規模言語モデルがタスク指向対話において話題への集中を維持し、妨害要素に対するロバスト性を高めることを目的としています。

このデータセットには、健康、銀行、旅行、教育、金融、保険、法律、不動産、コンピュータのトラブルシューティングの9つの領域をカバーする1,186件の合成対話サンプルが含まれており、各対話にはモデルの話題逸脱耐性をテストするための妨害ターンが含まれています。 このデータセットでファインチューニングを行うことで、モデルの指示追従および安全タスクにおけるパフォーマンスを大幅に向上させ、機密トピックを効果的に識別し、制限付きコンテンツを処理できるようになります。

データセットの構成

データセットには主に以下のフィールドが含まれています：

• domain：対話が属する領域
• scenario：議論されている具体的なシナリオまたはタスク
• system_instruction：モデルに与えられる対話戦略であり、通常は許可および禁止された議論の複雑な命令セットを含む
• conversation：主要トピックと妨害ターンを含む完全な対話内容
• distractors：妨害ターンのリストであり、対話内のボットターンと、ユーザーがボットターンへの応答として行うべき妨害ターンを含む
• conversation_with_distractors：妨害ターンを含む完全な対話

データセットはトレーニングセットとテストセットに分かれており、Llama シリーズモデルに基づいて合成生成され、モデルが話題の逸脱に抵抗し、対話のテーマを安定に維持する能力を評価するために使用されます。ライセンスは CC-BY-NC-4.0 であり、非商用の研究用途にのみ限定されています。

Citation

@inproceedings{sreedhar2024canttalkaboutthis,
  title={CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues},
  author={Sreedhar, Makesh and Rebedea, Traian and Ghosh, Shaona and Zeng, Jiaqi and Parisien, Christopher},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2024},
  pages={12232--12252},
  year={2024},
  organization={Association for Computational Linguistics}
}