TMMLU+ 繁体字中国語の大規模マルチタスク言語理解データセット

TMMLU+ は、Largescale traditional chinese Massive multitask language Understanding の略で、中国語の大規模マルチタスク言語理解データ セットです。これは、初心者から専門レベルまでの 66 のトピックをカバーする多肢選択式の質問と回答のデータセットです。

TMMLU+ データセットは以前のものよりも効率的です TMMLU 6 倍の大きさになり、テーマのバランスがより良くなりました。TMMLU+ には、クローズドソース モデルと 20 のオープンソース中国語大規模言語モデルからのベンチマーク結果が含まれています。これらのモデルのパラメータの範囲は 1.8 B ～ 72 B です。ベンチマーク結果によると、繁体字中国語のバリアントは、メインの簡体字中国語モデルでトレーニングされたモデルに依然として遅れをとっています。