مجموعة بيانات P-MMEval عبارة عن مجموعة بيانات معيارية متعددة اللغات ومتعددة المهام واسعة النطاق تم إنشاؤها بواسطة مختبر Tongyi التابع لمجموعة Alibaba في عام 2024، والتي تهدف إلى تقييم القدرات المتعددة اللغات لنماذج اللغة الكبيرة (LLMs) بشكل شامل. نتائج الورقة ذات الصلة هيP-MMEVAL: معيار متعدد اللغات ومتعدد المهام متوازي للتقييم المتسق لبرامج الماجستير في القانون" تحتوي مجموعة البيانات على 3 مجموعات بيانات أساسية لمعالجة اللغة الطبيعية (NLP) و5 مجموعات بيانات متقدمة خاصة بالقدرات، تغطي مهام مثل إنشاء التعليمات البرمجية وفهم المعرفة والاستدلال الرياضي والاستدلال المنطقي واتباع التعليمات. من خلال مراجعة الترجمة من قبل الخبراء، تضمن P-MMEval تغطية متسقة للغات العشر وتقدم عينات متوازية عبر اللغات. وتشمل هذه اللغات الإنجليزية والصينية والعربية والإسبانية واليابانية والكورية والتايلاندية والفرنسية والبرتغالية والفيتنامية.

الاستشهاد

@misc{zhang2024pmmevalparallelmultilingualmultitask,
title={P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs},
author={Yidan Zhang and Yu Wan and Boyi Deng and Baosong Yang and Haoran Wei and Fei Huang and Bowen Yu and Junyang Lin and Fei Huang and Jingren Zhou},
year={2024},
eprint={2411.09116},
archivePrefix={arXiv},
primaryClass={cs.CL},
url={https://arxiv.org/abs/2411.09116},
}