MAKIEVAL은 뮌헨대학교 MaiNLP 연구소와 뮌헨 기계학습센터(MCML)가 공동으로 개발하여 2026년에 공개한 다국어 문화 지식 평가 데이터셋입니다. 관련 연구 논문은 다음과 같습니다. MAKIEVAL: 다국어 지원이 가능한 Wikidata 기반 언어 학습 석사(LLM) 대상 문화 인식 평가 자동 프레임워크이 도구는 대규모 언어 모델을 위한 대규모 다국어 문화 지식 평가의 기준을 제공하는 것을 목표로 하며, 다국어 지식 표현 및 문화 지식 모델링 연구에서 널리 사용됩니다. 이 데이터 세트는 13개 언어, 19개 국가/지역, 6개 문화 영역에 걸쳐 7개의 대형 언어 모델이 생성한 텍스트와 위키데이터와 연동된 자동 추출된 문화적 요소들을 포함합니다.

데이터 세트 구성

• 주요 언어 모델 7종: Llama-3.1-8B-Instruct, Llama-3.3-70B-Instruct, Mistral-7B-Instruct-v0.1, Qwen2.5-7B-Instruct, DeepSeek-V3, ChatGPT-4o-mini, Aya-Expanse-8B.
• 13개 언어: 아랍어, 독일어, 영어, 스페인어, 페르시아어, 힌디어, 이탈리아어, 일본어, 한국어, 태국어, 터키어, 중국어 간체, 중국어 번체
• 19개 국가/지역: 아랍에미리트, 미국, 영국, 캐나다, 호주, 나이지리아, 독일, 스페인, 멕시코, 아르헨티나, 이란, 인도, 이탈리아, 일본, 한국, 태국, 터키, 중국, 대만.
• 문화의 여섯 가지 영역: 음식, 음료, 의류, 서적, 음악, 교통.

소환

@inproceedings{zhao-etal-2025-makieval,
title = "{MAKIE}val: A Multilingual Automatic {W}i{K}idata-based Framework for Cultural Awareness Evaluation for {LLM}s",
author = "Zhao, Raoyuan  and
Chen, Beiduo  and
Plank, Barbara  and
Hedderich, Michael A.",
editor = "Christodoulopoulos, Christos  and
Chakraborty, Tanmoy  and
Rose, Carolyn  and
Peng, Violet",
booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2025",
month = nov,
year = "2025",
address = "Suzhou, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2025.findings-emnlp.1256/",
doi = "10.18653/v1/2025.findings-emnlp.1256",
pages = "23104--23136",
ISBN = "979-8-89176-335-7",
abstract = "Large language models (LLMs) are used globally across many languages, but their English-centric pretraining raises concerns about cross-lingual disparities for cultural awareness, often resulting in biased outputs. However, comprehensive multilingual evaluation remains challenging due to limited benchmarks and questionable translation quality. To better assess these disparities, we introduce MAKIEval, an automatic multilingual framework for evaluating cultural awareness in LLMs across languages, regions, and topics. MAKIEval evaluates open-ended text generation, capturing how models express culturally grounded knowledge in natural language. Leveraging Wikidata{'}s multilingual structure as a cross-lingual anchor, it automatically identifies cultural entities in model outputs and links them to structured knowledge, enabling scalable, language-agnostic evaluation without manual annotation or translation. We then introduce four metrics that capture complementary dimensions of cultural awareness: granularity, diversity, cultural specificity, and consensus across languages. We assess 7 LLMs developed from different parts of the world, encompassing both open-source and proprietary systems, across 13 languages, 19 countries and regions, and 6 culturally salient topics (e.g., food, clothing). Notably, we find that models tend to exhibit stronger cultural awareness in English, suggesting that English prompts more effectively activate culturally grounded knowledge. We publicly release our code and data."
}