مجموعة بيانات معيارية للتفكير المنطقي من SocialMaze
SocialMaze عبارة عن مجموعة بيانات مرجعية للتفكير الاجتماعي تركز على مهام التفكير في الأدوار المخفية في سيناريوهات التفاعل بين العديد من الوكلاء. يهدف إلى تقييم قدرات التفكير المنطقي، وكشف الخداع، وفهم الحوار متعدد الجولات للنماذج اللغوية الكبيرة (LLMs) في البيئات الاجتماعية المعقدة. إنه يوفر منصة اختبار موحدة لدراسة قدرة التفكير الاجتماعي لحاملي شهادة الماجستير في القانون.
تم تصميم مجموعة البيانات هذه حول لعبة تفكير الأدوار المخفية، والتي تحاكي السيناريوهات الاجتماعية التي تنطوي على الخداع وسوء التقدير:
إعدادات الدور:
- المحقق: قدم دائمًا بيانًا صادقًا.
- المجرم: يستطيع الكذب بشكل انتقائي لتضليل الجمهور.
- مروج الإشاعات: يعتقد أنهم محققون، لكن تصريحاتهم تكون عشوائية إما صحيحة أو خاطئة.
- مجنون: يعتقد نفسه مجرمًا ويطلق تصريحات عشوائية صحيحة أو خاطئة.
تدفق اللعبة:
تتكون كل لعبة من 3 جولات من الحوار، وفي كل جولة يقوم جميع اللاعبين بالتعرف علنًا على ما إذا كان اللاعب مجرمًا أم لا. يحتاج اللاعب 1 (أي منظور النموذج) إلى استنتاج المجرم الحقيقي ودوره الحقيقي (الذي قد يكون أحد الأدوار الأربعة المذكورة أعلاه) استنادًا إلى جولات الحوار الثلاث.
إن التحدي الأساسي هو التمييز بين التصريحات الحقيقية والأكاذيب العشوائية، والتعامل مع تحيزات تصور الشخصية الذاتية (مثل الهوية الزائفة لمروجي الشائعات والمهووسين)، والقضاء تدريجيا على الخيارات المستحيلة والتمسك بالحل الوحيد من خلال التناقضات المنطقية أو الاتساق في جولات متعددة من الحوار.