TMMLU+ は、Largescale traditional chinese Massive multitask language Understanding の略で、中国語の大規模マルチタスク言語理解データ セットです。これは、初心者から専門レベルまでの 66 のトピックをカバーする多肢選択式の質問と回答のデータセットです。 TMMLU+ データセットは以前のものよりも効率的です TMMLU 6 倍の大きさになり、テーマのバランスがより良くなりました。TMMLU+ には、クローズドソース モデルと 20 のオープンソース中国語大規模言語モデルからのベンチマーク結果が含まれています。これらのモデルのパラメータの範囲は 1.8 B ～ 72 B です。ベンチマーク結果によると、繁体字中国語のバリアントは、メインの簡体字中国語モデルでトレーニングされたモデルに依然として遅れをとっています。

引用

@article{ikala2024improved, タイトル={基礎モデルのための改良された伝統的な中国語評価スイート}、 author={Tam、Zhi-Rui と Pai、Ya-Ting と Lee、Yen-Wei と Cheng、Sega と Shuai、Hong-Han}、 ジャーナル={arXivプレプリント arXiv:2403.01858}、 年={2024} }