P-MMEval 多言語マルチタスク ベンチマーク データセット

※本データセットはオンライン利用に対応しておりますが、ここをクリックしてジャンプしてください。

P-MMEval データセットは、大規模言語モデル (LLM) の多言語機能を包括的に評価することを目的として、2024 年に Alibaba Group Tongyi Lab によって作成された大規模な多言語マルチタスク ベンチマーク データセットです。関連する論文結果は「P-MMEVAL: LLM の一貫した評価のための並列多言語マルチタスク ベンチマーク」

このデータ セットには、3 つの基本的な自然言語処理 (NLP) データ セットと 5 つの高度な機能固有のデータ セットが含まれており、コード生成、知識理解、数学的推論、論理的推論、命令追従などのタスクをカバーします。 P-MMEval は専門家による翻訳レビューを通じて、10 言語にわたって一貫した対応を保証し、言語間での並行サンプルを提供します。これらの言語には、英語、中国語、アラビア語、スペイン語、日本語、韓国語、タイ語、フランス語、ポルトガル語、ベトナム語が含まれます。