SocialIQA: الاستدلال الشائع حول التفاعلات الاجتماعية

نقدم Social IQa، أول معيار كبير الحجم لاستدلال الذكاء الاجتماعي في المواقف الاجتماعية. يحتوي Social IQa على 38,000 سؤال متعدد الخيارات لاختبار الذكاء العاطفي والاجتماعي في مجموعة متنوعة من المواقف اليومية (مثلاً، السؤال: "أراد جوردان أن يخبر تراسي بسر، فاقترب جوردان من تراسي. لماذا فعل جوردان ذلك؟" الإجابة: "لضمان عدم سماع أحد آخر"). من خلال التمويل الجماعي، نجمع أسئلة ذات صلة بالذكاء الاجتماعي مع الإجابات الصحيحة والخاطئة حول التفاعلات الاجتماعية، باستخدام إطار جديد يخفف من الآثار الأسلوبية في الإجابات الخاطئة عن طريق طلب العمال تقديم الإجابة الصحيحة لسؤال مختلف ولكن مرتبط.تظهر النتائج التجريبية أن معيارنا يعتبر تحديًا للنماذج الحالية للإجابة على الأسئلة المستندة إلى النماذج اللغوية المدربة مسبقًا، مقارنة بأداء البشر (مع وجود فجوة تزيد عن 20٪). بشكل خاص، نثبت أيضًا أن Social IQa يمكن استخدامه كمورد للتعلم النقل للذكاء الاجتماعي، حيث حقق أداءً رائدًا في عدة مهام لاستدلال الذكاء الاجتماعي (مثل نماذج وينوغراد schemas، اختبار العلاقات السببية والغرضية COPA).