تُعدّ مجموعة بيانات Metacognition-Bench، التي أصدرتها شركة ginigen-ai، معيارًا لتقييم القدرات المعرفية العليا لنماذج اللغة الكبيرة. وتهدف إلى قياس قدرة النموذج الوظيفية على اكتشاف أخطاء الاستدلال وتصحيحها، بدلاً من مجرد تقييم دقة الإجابة النهائية. وتشمل الأبحاث ذات الصلة... الاختبار النهائي: قياس التفكير المعرفي الوظيفي في نماذج اللغة الكبيرة . تحتوي هذه المجموعة من البيانات على 300 سؤالٍ مُضللٍ في مجال ما وراء المعرفة، تغطي 121 مجالًا، بما في ذلك الرياضيات والفيزياء والأحياء والقانون والطب والاقتصاد والإحصاء والأخلاق وعلوم الحاسوب. تُقسّم مستويات الصعوبة إلى ثلاثة مستويات: أ (متقدم)، ب (خبير)، وج (أساسي)، وتشمل ثمانية أنواع من سلوكيات ما وراء المعرفة: التصحيح الذاتي، وتجنب الوقوع في الفخ، واكتشاف الانتقالات، وحل التعارضات، والاكتشاف التدريجي، والتعامل مع القيود المتعددة، ولجنة الخبراء، واتخاذ القرارات في ظل عدم اليقين. يحتوي كل سؤال على فخٍ خفي لاختبار أداء النموذج عند مواجهة مسارات استدلال خاطئة ولكنها غير فعّالة. تستخدم مجموعة البيانات صيغتين للمهام - الاختيار من متعدد والتوليد المفتوح - للتقييم المستقل لقياس مدى تأثر النموذج بمزالق الاستدلال الخصومي، ومكاسب تصحيح الأخطاء لدى المُكيّف، وذلك بموضوعية.

حقول البيانات:

• task_id: مُعرّف فريد (بالتنسيق من META-001 إلى META-300)
• المجال: المجال الذي ينتمي إليه السؤال
• الدرجة: مستوى الصعوبة (أ/ب/ج)
• ticos_type: أنماط السلوك المعرفي (8 أنواع إجمالاً)
• مستوى الصعوبة: وصف نوعي لمستوى الصعوبة
• الموجه: كلمة موجه المهمة
• السلوك المتوقع: النقاط المحددة التي يكون فيها التفكير الصحيح والحدس عرضة للخطأ.
• hidden_trap: مسارات تفسير الأخطاء المخفية
• ticos_required: رمز TICOS المعرفي المطلوب