Multi-LMentry عبارة عن مجموعة بيانات مرجعية متعددة اللغات تم إصدارها في عام 2025، وهي مصممة لتقييم قدرة التعميم عبر اللغات للنماذج اللغوية الكبيرة (LLMs) بشكل منهجي لفهم اللغة منخفضة المستوى ومهام التفكير الأساسية في البيئات متعددة اللغات.

تغطي هذه المجموعة تسع لغات: الإنجليزية، الكتالانية، الألمانية، الإسبانية، الباسكية، الجاليكية، الكورية، الإيطالية، والبرتغالية البرازيلية. أُعيد تصميم المهام يدويًا بواسطة متحدثين أصليين، وهي مشابهة في شكلها لإطار عمل LMentry الأصلي، ولكن ليس كترجمات مباشرة، لضمان سلاسة وتوافقها الثقافي.

بنية مجموعة البيانات

• يتم تنظيم مجموعة البيانات في مجلدات حسب اللغة.
• في كل مجلد لغة، تتوافق كل مهمة مع ملف JSON.
• يحتوي كل ملف JSON على تلميحات الإدخال والمخرجات المتوقعة للمهمة.
• تشمل أنواع المهام بناء الجملة البسيطة، واختيار المفردات السياقية، والتفكير في الحروف.
• بعض المهام خاصة باللغة؛ على سبيل المثال، يتم استبعاد مهام القافية في اللغات التي لا تنطبق عليها.