**TMMLU+ signifie Large scale traditional Chinese massive multitask language understanding, qui est un ensemble de données de compréhension du langage multitâche à grande échelle en chinois.**Il s’agit d’un ensemble de questions-réponses à choix multiples couvrant 66 sujets, allant du niveau élémentaire au niveau professionnel. L'ensemble de données TMMLU+ est nettement plus volumineux que son prédécesseur TMMLU 6 fois plus grand, avec un thème plus équilibré.**TMMLU+ comprend des résultats de référence provenant de modèles à code source fermé et de 20 modèles open source en grandes langues chinoises.**Les paramètres de ces modèles varient de 1,8 B à 72 B. Les résultats de base montrent que les variantes du chinois traditionnel sont toujours en retard par rapport aux modèles formés sur le modèle principal du chinois simplifié.

Citation

@article{ikala2024improved, titre={Une suite d'évaluation chinoise traditionnelle améliorée pour le modèle de base}, author={Tam, Zhi-Rui et Pai, Ya-Ting et Lee, Yen-Wei et Cheng, Sega et Shuai, Hong-Han}, journal={prépublication arXiv arXiv:2403.01858}, année={2024} }