مجموعة بيانات فهم اللغة الصينية التقليدية متعددة المهام واسعة النطاق TMMLU+

TMMLU+ تعني فهم اللغة الصينية التقليدية متعددة المهام على نطاق واسع، وهي مجموعة بيانات فهم اللغة الصينية متعددة المهام على نطاق واسع.إنها مجموعة بيانات أسئلة الاختيار من متعدد تغطي 66 موضوعًا، تتراوح من المستويات الابتدائية إلى المهنية.

مجموعة بيانات TMMLU+ أكبر بكثير من سابقتها جامعة تمبلو أكبر 6 مرات، مع موضوع أكثر توازناً.يتضمن TMMLU+ نتائج معيارية من نماذج مغلقة المصدر و20 نموذجًا مفتوح المصدر للغة الصينية الكبيرة.وتتراوح معلمات هذه النماذج من 1.8 مليار إلى 72 مليار. وتُظهر النتائج الأساسية أن المتغيرات الصينية التقليدية لا تزال متأخرة عن النماذج المدربة على النموذج الصيني المبسط الرئيسي.