**TMMLU+ تعني فهم اللغة الصينية التقليدية متعددة المهام على نطاق واسع، وهي مجموعة بيانات فهم اللغة الصينية متعددة المهام على نطاق واسع.**إنها مجموعة بيانات أسئلة الاختيار من متعدد تغطي 66 موضوعًا، تتراوح من المستويات الابتدائية إلى المهنية. مجموعة بيانات TMMLU+ أكبر بكثير من سابقتها جامعة تمبلو أكبر 6 مرات، مع موضوع أكثر توازناً.**يتضمن TMMLU+ نتائج معيارية من نماذج مغلقة المصدر و20 نموذجًا مفتوح المصدر للغة الصينية الكبيرة.**وتتراوح معلمات هذه النماذج من 1.8 مليار إلى 72 مليار. وتُظهر النتائج الأساسية أن المتغيرات الصينية التقليدية لا تزال متأخرة عن النماذج المدربة على النموذج الصيني المبسط الرئيسي.

الاستشهاد

@article{ikala2024improved, title={مجموعة أدوات تقييم صينية تقليدية محسّنة للنموذج التأسيسي}, المؤلف={Tam, Zhi-Rui and Pai, Ya-Ting and Lee, Yen-Wei and Cheng, Sega and Shuai, Hong-Han}, journal={arXiv preprint arXiv:2403.01858}, السنة = {2024} }