MAKIEVAL هي مجموعة بيانات لتقييم المعرفة الثقافية متعددة اللغات، صدرت عام 2026 من مختبر أبحاث MaiNLP بجامعة ميونخ بالتعاون مع مركز ميونخ للتعلم الآلي (MCML). وفيما يلي الأبحاث ذات الصلة: ماكيفال: إطار عمل آلي متعدد اللغات قائم على بيانات ويكي لتقييم الوعي الثقافي لطلاب الماجستير في القانونيهدف إلى توفير معيار لتقييم المعرفة الثقافية متعددة اللغات واسعة النطاق لنماذج اللغة الكبيرة ويستخدم على نطاق واسع في البحوث المتعلقة بتمثيل المعرفة متعددة اللغات ونمذجة المعرفة الثقافية. تحتوي مجموعة البيانات هذه على نصوص تم إنشاؤها بواسطة سبعة نماذج لغوية كبيرة في 13 لغة، و19 دولة/منطقة، و6 مجالات ثقافية، بالإضافة إلى الكيانات الثقافية المستخرجة تلقائيًا والمتوافقة مع ويكي بيانات.

تكوين مجموعة البيانات

• سبعة نماذج لغوية رئيسية: Llama-3.1-8B-Instruct، Llama-3.3-70B-Instruct، Mistral-7B-Instruct-v0.1، Qwen2.5-7B-Instruct، DeepSeek-V3، ChatGPT-4o-mini، وAya-Expanse-8B.
• 13 لغة: العربية، الألمانية، الإنجليزية، الإسبانية، الفارسية، الهندية، الإيطالية، اليابانية، الكورية، التايلاندية، التركية، الصينية المبسطة، الصينية التقليدية
• 19 دولة/منطقة: الإمارات العربية المتحدة، الولايات المتحدة، المملكة المتحدة، كندا، أستراليا، نيجيريا، ألمانيا، إسبانيا، المكسيك، الأرجنتين، إيران، الهند، إيطاليا، اليابان، كوريا الجنوبية، تايلاند، تركيا، الصين، وتايوان.
• ستة مجالات ثقافية: الطعام، والمشروبات، والملابس، والكتب، والموسيقى، والمواصلات.

الاستشهاد

@inproceedings{zhao-etal-2025-makieval,
title = "{MAKIE}val: A Multilingual Automatic {W}i{K}idata-based Framework for Cultural Awareness Evaluation for {LLM}s",
author = "Zhao, Raoyuan  and
Chen, Beiduo  and
Plank, Barbara  and
Hedderich, Michael A.",
editor = "Christodoulopoulos, Christos  and
Chakraborty, Tanmoy  and
Rose, Carolyn  and
Peng, Violet",
booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2025",
month = nov,
year = "2025",
address = "Suzhou, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2025.findings-emnlp.1256/",
doi = "10.18653/v1/2025.findings-emnlp.1256",
pages = "23104--23136",
ISBN = "979-8-89176-335-7",
abstract = "Large language models (LLMs) are used globally across many languages, but their English-centric pretraining raises concerns about cross-lingual disparities for cultural awareness, often resulting in biased outputs. However, comprehensive multilingual evaluation remains challenging due to limited benchmarks and questionable translation quality. To better assess these disparities, we introduce MAKIEval, an automatic multilingual framework for evaluating cultural awareness in LLMs across languages, regions, and topics. MAKIEval evaluates open-ended text generation, capturing how models express culturally grounded knowledge in natural language. Leveraging Wikidata{'}s multilingual structure as a cross-lingual anchor, it automatically identifies cultural entities in model outputs and links them to structured knowledge, enabling scalable, language-agnostic evaluation without manual annotation or translation. We then introduce four metrics that capture complementary dimensions of cultural awareness: granularity, diversity, cultural specificity, and consensus across languages. We assess 7 LLMs developed from different parts of the world, encompassing both open-source and proprietary systems, across 13 languages, 19 countries and regions, and 6 culturally salient topics (e.g., food, clothing). Notably, we find that models tend to exhibit stronger cultural awareness in English, suggesting that English prompts more effectively activate culturally grounded knowledge. We publicly release our code and data."
}