Ensemble De Données De Compréhension Linguistique Multitâche À Grande Échelle TMMLU+ En Chinois Traditionnel

TMMLU+ signifie Large scale traditional Chinese massive multitask language understanding, qui est un ensemble de données de compréhension du langage multitâche à grande échelle en chinois.Il s’agit d’un ensemble de questions-réponses à choix multiples couvrant 66 sujets, allant du niveau élémentaire au niveau professionnel.

L'ensemble de données TMMLU+ est nettement plus volumineux que son prédécesseur TMMLU 6 fois plus grand, avec un thème plus équilibré.TMMLU+ comprend des résultats de référence provenant de modèles à code source fermé et de 20 modèles open source en grandes langues chinoises.Les paramètres de ces modèles varient de 1,8 B à 72 B. Les résultats de base montrent que les variantes du chinois traditionnel sont toujours en retard par rapport aux modèles formés sur le modèle principal du chinois simplifié.