TMMLU+ Traditioneller Chinesischer Datensatz Zum Umfangreichen Multitasking-Sprachverständnis

TMMLU+ steht für „Large Scale Traditional Chinese Massive Multitask Language Understanding“ (großes, traditionelles chinesisches, massives Multitask-Sprachverständnis), ein chinesischer Datensatz zum groß angelegten Multitask-Sprachverständnis.Es handelt sich um einen Datensatz mit Multiple-Choice-Fragen und Antworten zu 66 Themen, vom Grundschul- bis zum Profiniveau.

Der TMMLU+-Datensatz ist deutlich größer als sein Vorgänger TMMLU 6-mal größer, mit einem ausgewogeneren Thema.TMMLU+ umfasst Benchmark-Ergebnisse von Closed-Source-Modellen und 20 Open-Source-Modellen für große chinesische Sprachen.Die Parameter dieser Modelle reichen von 1,8 B bis 72 B. Die Basisergebnisse zeigen, dass die Varianten in traditionellem Chinesisch immer noch hinter den Modellen zurückbleiben, die mit dem Hauptmodell in vereinfachtem Chinesisch trainiert wurden.