P-MMEval データセットは、大規模言語モデル (LLM) の多言語機能を包括的に評価することを目的として、2024 年に Alibaba Group Tongyi Lab によって作成された大規模な多言語マルチタスク ベンチマーク データセットです。関連する論文結果は「P-MMEVAL: LLM の一貫した評価のための並列多言語マルチタスク ベンチマーク」 このデータ セットには、3 つの基本的な自然言語処理 (NLP) データ セットと 5 つの高度な機能固有のデータ セットが含まれており、コード生成、知識理解、数学的推論、論理的推論、命令追従などのタスクをカバーします。 P-MMEval は専門家による翻訳レビューを通じて、10 言語にわたって一貫した対応を保証し、言語間での並行サンプルを提供します。これらの言語には、英語、中国語、アラビア語、スペイン語、日本語、韓国語、タイ語、フランス語、ポルトガル語、ベトナム語が含まれます。

引用

@misc{zhang2024pmmevalparallelmultilingualmultitask,
title={P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs},
author={Yidan Zhang and Yu Wan and Boyi Deng and Baosong Yang and Haoran Wei and Fei Huang and Bowen Yu and Junyang Lin and Fei Huang and Jingren Zhou},
year={2024},
eprint={2411.09116},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2411.09116},
}