Multi-LMentry عبارة عن مجموعة بيانات مرجعية متعددة اللغات تم إصدارها في عام 2025، وهي مصممة لتقييم قدرة التعميم عبر اللغات للنماذج اللغوية الكبيرة (LLMs) بشكل منهجي لفهم اللغة منخفضة المستوى ومهام التفكير الأساسية في البيئات متعددة اللغات. تغطي هذه المجموعة تسع لغات: الإنجليزية، الكتالانية، الألمانية، الإسبانية، الباسكية، الجاليكية، الكورية، الإيطالية، والبرتغالية البرازيلية. أُعيد تصميم المهام يدويًا بواسطة متحدثين أصليين، وهي مشابهة في شكلها لإطار عمل LMentry الأصلي، ولكن ليس كترجمات مباشرة، لضمان سلاسة وتوافقها الثقافي.

بنية مجموعة البيانات

• يتم تنظيم مجموعة البيانات في مجلدات حسب اللغة.
• في كل مجلد لغة، تتوافق كل مهمة مع ملف JSON.
• يحتوي كل ملف JSON على تلميحات الإدخال والمخرجات المتوقعة للمهمة.
• تشمل أنواع المهام بناء الجملة البسيطة، واختيار المفردات السياقية، والتفكير في الحروف.
• بعض المهام خاصة باللغة؛ على سبيل المثال، يتم استبعاد مهام القافية في اللغات التي لا تنطبق عليها.

الاستشهاد

@inproceedings{moroni-etal-2025-multi,
title = "Multi-{LM}entry: Can Multilingual {LLM}s Solve Elementary Tasks Across Languages?",
author = "Moroni, Luca  and
Aula-Blasco, Javier  and
Conia, Simone  and
Baucells, Irene  and
Perez, Naiara  and
Su{\'a}rez, Silvia Paniagua  and
Sall{\'e}s, Anna  and
Ostendorff, Malte  and
Falc{\~a}o, J{\'u}lia  and
Son, Guijin  and
Gonzalez-Agirre, Aitor  and
Navigli, Roberto  and
Villegas, Marta",
editor = "Christodoulopoulos, Christos  and
Chakraborty, Tanmoy  and
Rose, Carolyn  and
Peng, Violet",
booktitle = "Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing",
month = nov,
year = "2025",
address = "Suzhou, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2025.emnlp-main.1731/",
doi = "10.18653/v1/2025.emnlp-main.1731",
pages = "34114--34145",
ISBN = "979-8-89176-332-6"
}