مجموعة بيانات P-MMEval عبارة عن مجموعة بيانات معيارية متعددة اللغات ومتعددة المهام واسعة النطاق تم إنشاؤها بواسطة مختبر Tongyi التابع لمجموعة Alibaba في عام 2024، والتي تهدف إلى تقييم القدرات المتعددة اللغات لنماذج اللغة الكبيرة (LLMs) بشكل شامل. نتائج الورقة ذات الصلة هيP-MMEVAL: معيار متعدد اللغات ومتعدد المهام متوازي للتقييم المتسق لبرامج الماجستير في القانون"

تحتوي مجموعة البيانات على 3 مجموعات بيانات أساسية لمعالجة اللغة الطبيعية (NLP) و5 مجموعات بيانات متقدمة خاصة بالقدرات، تغطي مهام مثل إنشاء التعليمات البرمجية وفهم المعرفة والاستدلال الرياضي والاستدلال المنطقي واتباع التعليمات. من خلال مراجعة الترجمة من قبل الخبراء، تضمن P-MMEval تغطية متسقة للغات العشر وتقدم عينات متوازية عبر اللغات. وتشمل هذه اللغات الإنجليزية والصينية والعربية والإسبانية واليابانية والكورية والتايلاندية والفرنسية والبرتغالية والفيتنامية.