Typed Decisions هو مجموعة بيانات معيارية للقرارات الاحتمالية المُنمّطة أصدرتها LocalLLaMA، تهدف إلى تقييم قدرة النماذج على الإجابة في وقت واحد عن عدة أسئلة مُنمّطة بناءً على معلومات حالة غير مهيكلة، وإخراج توزيعات احتمالية مقابلة، مع التركيز على دقة القرارات ومعايرة الاحتمالات.

تم بناء مجموعة البيانات حول أربع سيناريوهات أعمال: مراقبة تشغيل الوكلاء، وخدمة العملاء، ومعالجة الفواتير، والاستجابة لحوادث الأمان، وتتضمن إجمالي 1,600 حالة اصطناعية، منها 1,200 للتدريب و400 للاختبار. تتكون كل حالة من معلومات حالة واحدة وخمسة أسئلة مُنمّطة، ويتضمن مجموعة الاختبار 2,000 قرار. تستخدم مجموعة البيانات ثلاثة أنواع من القرارات: noul وchoice وscore، تدعم على التوالي الحكم على احتمال كون العبارة صحيحة أو خاطئة، وتوزيع الاحتمالات عبر خيارات متعددة، وتوزيع الدرجات المرتبة، كما توفر توزيعات احتمالية معيارية ذهبية وحقول مساعدة ذات صلة، ويمكن استخدامها لتقييم قدرة النماذج على اتخاذ قرارات مُهيكله والتنبؤ الاحتمالي عبر سيناريوهات الأعمال المختلفة.

تكوين مجموعة البيانات

• أنواع سير العمل: تشمل أربع سيناريوهات أعمال لمراقبة تشغيل الوكلاء (agent_trace_observability)، وخدمة العملاء (customer_service)، ومعالجة الفواتير (invoice_processing)، والاستجابة لحوادث الأمان (security_incidents)؛
• حقول الإدخال: state وquestions يشكلان معًا مدخل النموذج، وتُحفظ معايير الحكم النصية للخيارات في حقل criteria؛
• حقول المعيار الذهبي: يحفظ gold التوزيع المعياري الذهبي الكامل؛ ويوفر __label و__probabilities و__score و__probability_true النتائج المسطحة المقابلة؛
• الحقول المساعدة: يسجل factors وlabel_agreement على التوالي عوامل توليد الحالات واتساق الوسم، ولا تُستخدم كمدخلات للنموذج؛
• أنواع القرارات: تشمل noul وchoice وscore، تُستخدم على التوالي للتنبؤ باحتمال صحة العبارة، وتوزيع الاحتمالات عبر خيارات متعددة، وتوزيع الاحتمالات لدرجات مرتبة والدرجة المتوقعة.