TMMLU+ 全称为 Large scale traditional chinese massive multitask language understanding,是一个中文大规模多任务语言理解数据集。它是一个涵盖了 66 个主题的多项选择问答数据集,水平从初级到专业不等。
TMMLU+ 数据集比其前身 TMMLU 大 6 倍,主题更加平衡。在 TMMLU+ 中包含了来自闭源模型和 20 个开源中文大型语言模型的基准结果,这些模型的参数范围从 1.8 B 到 72 B 不等。基准结果显示,相较于在主要简体中文模型上训练的模型,繁体中文变体仍然落后。
做种 1
下载中 0
已完成 32
总下载 70