CantTalkAboutThisTopic Control هو مجموعة بيانات أصدرتها NVIDIA في عام 2024 لتدريب نماذج اللغة على الحفاظ على تركيز الموضوع في الحوارات الموجهة نحو المهام، وتتمثل النتائج البحثية المرتبطة بها في ورقة بحثية بعنوان «CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues»، بهدف تحسين مقاومة النموذج للعناصر المشتتة وتعزيز التوافق مع تعليمات التوجيه ومهام السلامة.

تحتوي مجموعة البيانات هذه على 1,080 حوارًا اصطناعيًا، تغطي تسعة مجالات بما في ذلك الصحة والبنوك والسفر والتعليم والمالية والتأمين والقانون والعقارات واستكشاف أخطاء الكمبيوتر وإصلاحها. يتضمن كل حوار عناصر مشتتة، تُستخدم لاختبار وتحسين أداء النموذج عند التعامل مع الموضوعات غير ذات الصلة. لا تحتوي مجموعة البيانات هذه على معلومات شخصية حساسة، ويتم إنشاؤها من البيانات الاصطناعية.

تكوين مجموعة البيانات

تحتوي مجموعة البيانات على الحقول التالية:

• domain: المجال الذي ينتمي إليه الحوار
• scenario: السيناريو أو المهمة المحددة التي تتم مناقشتها
• system_instruction: استراتيجية الحوار المقدمة للنموذج، وعادةً ما تكون مجموعة من التعليمات المعقدة حول الموضوعات المسموح بها وغير المسموح بها
• conversation: الحوار الكامل، بما في ذلك الموضوع الرئيسي والعناصر المشتتة
• distractors: قائمة العناصر المشتتة، بما في ذلك ردود الروبوت في الحوار والعناصر المشتتة التي يجب على المستخدم تضمينها كاستجابة لردود الروبوت
• conversation_with_distractors: الحوار الذي يتضمن العناصر المشتتة

تنقسم مجموعة البيانات إلى مجموعتين فرعيتين: مجموعة التدريب (mixtral) ومجموعة الاختبار (human_test_set). يتم إنشاء مجموعة التدريب بناءً على نموذج Mixtral-8x7B-Instruct، بينما تحتوي مجموعة الاختبار على عناصر مشتتة أكثر تعقيدًا وواقعية تم وضع علامات عليها يدويًا، وتُستخدم لتقييم أداء النموذج.

Citation

@inproceedings{sreedhar2024canttalkaboutthis,
  title={CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues},
  author={Sreedhar, Makesh and Rebedea, Traian and Ghosh, Shaona and Zeng, Jiaqi and Parisien, Christopher},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2024},
  pages={12232--12252},
  year={2024},
  organization={Association for Computational Linguistics}
}