مجموعة بيانات فهم اللغة متعددة المهام متعددة اللغات من MMMLU

* هذه المجموعة من البيانات تدعم الاستخدام عبر الإنترنت.انقر هنا للقفز.

مجموعة بيانات فهم اللغة متعدد المهام الشامل متعدد اللغات (MMMLU) هي مجموعة بيانات مفتوحة المصدر أطلقتها OpenAI في عام 2024، والتي تهدف إلى تقييم وتحسين أداء نماذج الذكاء الاصطناعي في سياقات لغوية ومعرفية وثقافية مختلفة. تم بناء MMMLU على أساس معيار فهم اللغة متعدد المهام الضخم (MMLU)، وهو مقياس منطقي تم تحقيقه من خلال نماذج الذكاء الاصطناعي التي تتضمن مهام من 57 مجالًا مختلفًا، بدءًا من المعرفة الأولية إلى التخصصات المهنية المتقدمة مثل القانون والفيزياء والتاريخ وعلوم الكمبيوتر.

استخدم فريق البحث مترجمين بشريين محترفين لترجمة مجموعة اختبار MMLU إلى 14 لغة. إن الاعتماد على المترجمين البشريين لإجراء هذا التقييم يوفر ثقة متزايدة في دقة الترجمات، وخاصة بالنسبة للغات ذات الموارد المنخفضة مثل اليوروبا. من خلال الاستعانة بمترجمين محترفين لإجراء الترجمة، يمكن لـ MMMLU ضمان دقة وموثوقية مجموعة البيانات، وهو أمر بالغ الأهمية لتقييم قدرات نماذج الذكاء الاصطناعي في المهام عبر اللغات.

تشمل الوظائف الرئيسية لـ MMMLU التقييم متعدد اللغات، واختبار الكفاءة متعدد المهام، والتفاهم بين الثقافات، وتحسين تنوع النماذج، ودعم البحث والتطوير. تتضمن المبادئ الفنية إنشاء مجموعة البيانات، والترجمة المهنية، ودعم اللغات المتعددة، وتطوير أدوات التقييم، وتحليل الأداء.

تتضمن سيناريوهات تطبيق MMMLU تقييم نموذج اللغة، وأنظمة الترجمة الآلية، والتواصل بين الثقافات، والتكنولوجيا التعليمية، والأعمال التجارية الدولية. وسيكون لإصدار مجموعة البيانات تأثير بعيد المدى على مجال أبحاث معالجة اللغة الطبيعية (NLP). توفر MMMLU دعمًا مهمًا للموارد لكل من الاستكشاف النظري وتطوير التطبيقات العملية.