**TMMLU+ steht für „Large Scale Traditional Chinese Massive Multitask Language Understanding“ (großes, traditionelles chinesisches, massives Multitask-Sprachverständnis), ein chinesischer Datensatz zum groß angelegten Multitask-Sprachverständnis.**Es handelt sich um einen Datensatz mit Multiple-Choice-Fragen und Antworten zu 66 Themen, vom Grundschul- bis zum Profiniveau. Der TMMLU+-Datensatz ist deutlich größer als sein Vorgänger TMMLU 6-mal größer, mit einem ausgewogeneren Thema.**TMMLU+ umfasst Benchmark-Ergebnisse von Closed-Source-Modellen und 20 Open-Source-Modellen für große chinesische Sprachen.**Die Parameter dieser Modelle reichen von 1,8 B bis 72 B. Die Basisergebnisse zeigen, dass die Varianten in traditionellem Chinesisch immer noch hinter den Modellen zurückbleiben, die mit dem Hauptmodell in vereinfachtem Chinesisch trainiert wurden.

Zitat

@article{ikala2024improved, title={Eine verbesserte traditionelle chinesische Evaluierungssuite für das Foundation Model}, Autor={Tam, Zhi-Rui und Pai, Ya-Ting und Lee, Yen-Wei und Cheng, Sega und Shuai, Hong-Han}, journal={arXiv preprint arXiv:2403.01858}, Jahr={2024} }