تُعد مجموعة بيانات RPR (تفضيلات معقولة معكوسة) مجموعة بيانات تفضيلية اصطناعية مشروطة-مشروطة، أصدرتها Microsoft Research في عام 2024، وتتعلق بأوراق بحثية منشورة في Improving Context-Aware Preference Modeling for Language Models، وتهدف إلى تعزيز البحث والتطوير في مهام معالجة اللغة الطبيعية (NLP)، ولا سيما في تطوير نماذج تفضيل ومكافأة واعية بالسياق.

تحتوي هذه المجموعة على أكثر من 20,000 زوج من القوائم المتدرجة، ويتألف كل زوج من أمر توجيهي، وسياق (معايير أو سيناريو)، وحكم تفضيلي، وتظهر العينات على شكل أزواج، مما يجعل التفضيل بين إكمالين لنفس الأمر التوجيهي غامضًا تمامًا في غياب السياق، مما يضمن أن تعتمد دقة التنبؤ بالتفضيلات فقط على قدرة النموذج على فهم وتفسير السياق.

مكونات مجموعة البيانات

تتكون مجموعة البيانات من تقسيمين: مجموعة تدريب ومجموعة اختبار. تحتوي مجموعة التدريب على 10,167 عينة، وتحتوي مجموعة الاختبار على 1,000 عينة. تتضمن كل العينة الحقول التالية:

• prompt: السؤال أو الأمر التوجيهي الذي يطرحه المستخدم.
• response_a، response_b: إجابتان للمقارنة.
• criteria_x، criteria_y: معايير تقييم مختلفة تستخدم لتحديد تفضيل الإجابة.
• category_x، category_y: معلومات الفئة المرتبطة بمعايير التقييم.
• scenario_x، scenario_y: سيناريوهات تطبيق مختلفة تستخدم لتحديد تفضيل الإجابة.
• profile_0 إلى profile_4: معلومات ملف المستخدم الشخصية المرتبطة بحكم التفضيل.
• id: المعرف الفريد للعينة.

الاقتباس

@misc{pitis2024improvingcontextawarepreferencemodeling,
      title={Improving Context-Aware Preference Modeling for Language Models}, 
      author={Silviu Pitis and Ziang Xiao and Nicolas Le Roux and Alessandro Sordoni},
      year={2024},
      eprint={2407.14916},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.14916}, 
}