MAKIEVAL ist ein mehrsprachiger Datensatz zur Bewertung kulturellen Wissens, der 2026 vom MaiNLP-Forschungslabor der Universität München in Zusammenarbeit mit dem Munich Machine Learning Center (MCML) veröffentlicht wurde. Die zugehörigen Forschungsarbeiten sind folgende: MAKIEVAL: Ein mehrsprachiges, automatisches, Wikidata-basiertes Framework zur Bewertung des kulturellen Bewusstseins von LLM-StudierendenEs soll einen Maßstab für die Bewertung umfangreichen mehrsprachigen kulturellen Wissens für große Sprachmodelle liefern und wird in der Forschung zur mehrsprachigen Wissensrepräsentation und zur Modellierung kulturellen Wissens häufig verwendet. Dieser Datensatz enthält Texte, die von sieben großen Sprachmodellen in 13 Sprachen, 19 Ländern/Regionen und 6 Kulturbereichen generiert wurden, sowie automatisch extrahierte kulturelle Entitäten, die mit Wikidata übereinstimmen.

Datensatzzusammensetzung

• Sieben Hauptsprachmodelle: Llama-3.1-8B-Instruct, Llama-3.3-70B-Instruct, Mistral-7B-Instruct-v0.1, Qwen2.5-7B-Instruct, DeepSeek-V3, ChatGPT-4o-mini und Aya-Expanse-8B.
• 13 Sprachen: Arabisch, Deutsch, Englisch, Spanisch, Persisch, Hindi, Italienisch, Japanisch, Koreanisch, Thailändisch, Türkisch, Vereinfachtes Chinesisch, Traditionelles Chinesisch
• 19 Länder/Regionen: Vereinigte Arabische Emirate, Vereinigte Staaten, Vereinigtes Königreich, Kanada, Australien, Nigeria, Deutschland, Spanien, Mexiko, Argentinien, Iran, Indien, Italien, Japan, Südkorea, Thailand, Türkei, China und Taiwan.
• Sechs Kulturbereiche: Essen, Getränke, Kleidung, Bücher, Musik und Transport.

Zitat

@inproceedings{zhao-etal-2025-makieval,
title = "{MAKIE}val: A Multilingual Automatic {W}i{K}idata-based Framework for Cultural Awareness Evaluation for {LLM}s",
author = "Zhao, Raoyuan  and
Chen, Beiduo  and
Plank, Barbara  and
Hedderich, Michael A.",
editor = "Christodoulopoulos, Christos  and
Chakraborty, Tanmoy  and
Rose, Carolyn  and
Peng, Violet",
booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2025",
month = nov,
year = "2025",
address = "Suzhou, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2025.findings-emnlp.1256/",
doi = "10.18653/v1/2025.findings-emnlp.1256",
pages = "23104--23136",
ISBN = "979-8-89176-335-7",
abstract = "Large language models (LLMs) are used globally across many languages, but their English-centric pretraining raises concerns about cross-lingual disparities for cultural awareness, often resulting in biased outputs. However, comprehensive multilingual evaluation remains challenging due to limited benchmarks and questionable translation quality. To better assess these disparities, we introduce MAKIEval, an automatic multilingual framework for evaluating cultural awareness in LLMs across languages, regions, and topics. MAKIEval evaluates open-ended text generation, capturing how models express culturally grounded knowledge in natural language. Leveraging Wikidata{'}s multilingual structure as a cross-lingual anchor, it automatically identifies cultural entities in model outputs and links them to structured knowledge, enabling scalable, language-agnostic evaluation without manual annotation or translation. We then introduce four metrics that capture complementary dimensions of cultural awareness: granularity, diversity, cultural specificity, and consensus across languages. We assess 7 LLMs developed from different parts of the world, encompassing both open-source and proprietary systems, across 13 languages, 19 countries and regions, and 6 culturally salient topics (e.g., food, clothing). Notably, we find that models tend to exhibit stronger cultural awareness in English, suggesting that English prompts more effectively activate culturally grounded knowledge. We publicly release our code and data."
}