نظرة عامة على مجموعة البيانات

مجموعة بيانات التحكم في موضوعات المحادثة CantTalkAboutThis - غير تجارية هي مجموعة بيانات صدرت عن شركة إنفيديا (NVIDIA) عام 2024، وتركز على التحكم في مواضيع الحوار ومواءمة نماذج اللغة من منظور الأمان. النتائج البحثية ذات الصلة متاحة في «CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues»، وتهدف إلى تعزيز قدرة النماذج اللغوية الكبيرة على الحفاظ على تركيز الموضوع أثناء حواراتها الموجهة نحو المهام، وزيادة قدرتها على مقاومة المشتتات.

تحتوي هذه المجموعة على 1080 عينة محادثة مُصنَّعة، تغطي تسع مجالات تشمل الصحة والخدمات المصرفية والسفر والتعليم والمالية والتأمين والقانون والعقارات واستكشاف أعطال الحاسوب. تتضمن كل محادثة جولات مشتتة مصممة لاختبار مقاومة النموذج للانحراف عن الموضوع الرئيسي. ومن خلال ضبط النموذج الدقيق باستخدام هذه المجموعة، يمكن تحسين أدائه بشكل ملحوظ في اتباع التعليمات وتنفيذ مهام الأمان، مما يمكّنه من التعرف بفعالية على المواضيع الحساسة وإدارة المحتوى المقيد.

تكوين مجموعة البيانات

تتكون المجموعة بشكل أساسي من الحقول التالية:

• domain: المجال الذي تنتمي إليه المحادثة
• scenario: المشهد أو المهمة المحددة قيد المناقشة
• system_instruction: استراتيجية التدفق المُعطاة للنموذج، والتي تحتوي عادةً على مجموعات معقدة من التعليمات التي تحدد ما هو مسموح وما هو ممنوع مناقشته
• conversation: محتوى المحادثة الكامل، بما في ذلك الموضوع الرئيسي وجولات المشتتات
• distractors: قائمة بجولات المشتتات، وتشمل جولات الروبوت ضمن المحادثة بالإضافة إلى الجولات المشتتة التي يجب أن يكون المستخدم قد رد عليها استجابة لجولات الروبوت
• conversation_with_distractors: المحادثة الكاملة المتضمنة جولة المشتتات

تنقسم المجموعة إلى جزء للتدريب وجزء للاختبار؛ حيث تم توليد جزء التدريب بواسطة نموذج GPT-4 Turbo بشكل اصطناعي، بينما يُعد الجزء الخاص بالاختبار مجموعة تقييم معلمة يدوياً، وتتضمن مشتتات أكثر تعقيداً وواقعية لتقييم أداء النموذج.

الاستشهاد المرجعي

@inproceedings{sreedhar2024canttalkaboutthis,
  title={CantTalkAboutThis: Aligning Language Models to Stay on Topic in Dialogues},
  author={Sreedhar, Makesh and Rebedea, Traian and Ghosh, Shaona and Zeng, Jiaqi and Parisien, Christopher},
  booktitle={Findings of the Association for Computational Linguistics: EMNLP 2024},
  pages={12232--12252},
  year={2024},
  organization={Association for Computational Linguistics}
}