BenchMIRT يكشف ما تقيسه معايير تقييم الذكاء الاصطناعي
أعلنت مجموعة أبحاث «ألين آي» عن إطلاق أداة «بنش إم آرت» إطار عمل مبتكر لفحص وتقييم معايير اختبار النماذج اللغوية الكبيرة على مستوى الأسئلة الفردية. تعتمد الأداة على نظرية الاستجابة للعنصر متعددة الأبعاد المستوحاة من علم القياس النفسي، بهدف فك تشابك القدرات الكامنة التي تقيسها معايير التقييم، حيث تكشف أن العديد من الاختبارات تدمج بشكل غير واضح بين قدرات متعددة مثل السلامة العامة والقدرة على الاستنتاج. تم تدريب النموذج على بيانات تشمل نتائج 100 نموذج لغوي عبر 16 معيار اختبار يتضمن أكثر من 34 ألف سؤال، وتوزعت هذه المعايير بين اختبارات الاستدلال العام واختبارات السلامة. أظهر التحليل قدرة الأداة على استعادة بعدين رئيسيين بشكل مستقل ومستقر هما السلامة والاستدلال، بغض النظر عن التصنيف الأصلي للاختبارات. على سبيل المثال، أظهرت أداة «بي بي كيو» لقياس التحيز الاجتماعي ارتباطاً أقوى بالقدرة على الاستدلال، بينما أظهرت معايير مثل «إتش إم بي إتش» خليطاً من إشارات السلامة والقدرة المعرفية. كما كشفت الأداة أن معايير قياس المعرفة الخطرة ترتبط عكسياً بقوة الاستدلال، إذ تعكس الدرجات المنخفضة رفض النموذج لتقديم معلومات ضارة. تتيح الأداة للباحثين تحديد الأسئلة الأكثر دقة في قياس القدرات المستهدفة، مما يسمح بتقليص حجم المعايير إلى عشرة بالمئة مع الحفاظ على نفس دقة التقييم، ورفع كفاءة عملية التقييم عبر التنبؤ بأداء النماذج على أسئلة غير مختبرة بدقة تصل إلى 79 بالمئة. وعلى الرغم من الفوائد الكبيرة المتمثلة في زيادة الشفافية وتوجيه تصميم معايير أكثر تركيزاً، تشير الدراسة إلى وجود قيود تتعلق بعدم تغطية الأداة لأحدث أجيال النماذج، واعتماد النتائج على مجموعة المعايير المدخلة، فضلاً عن المخاطر المحتملة لاستخدام الدقة التحليلية في إزالة الأسئلة الأمنية الحساسة من الاختبارات. ومع ذلك، تمثل الأداة خطوة عملية نحو توحيد عمليات التقييم وجعلها أكثر كفاءة وقدرة على عزل القدرات التقنية بدقة.