Multi-LMentry 是于 2025 年发布的一个多语言评测基准数据集，旨在系统评估大型语言模型（LLMs）在多语言环境下对低层次语言理解与基础推理任务的跨语言泛化能力。 该数据集涵盖九种语言：英语、加泰罗尼亚语、德语、西班牙语、巴斯克语、加利西亚语、韩语、意大利语和巴西葡萄牙语。任务由母语使用者手动重新设计，形式与原始 LMentry 框架相似，但并非直接翻译，以确保语言与文化的自然性和适配性。

数据集结构

• 该数据集按语言分文件夹组织。
• 在每个语言文件夹中，每个任务对应一个 JSON 文件。
• 每个 JSON 文件包含该任务的输入提示和预期输出。
• 任务类型包括简单句子构造、语境词汇选择、字母推理等。
• 部分任务具有语言特定性，例如在不适用的语言中排除了押韵词任务。

Citation

@inproceedings{moroni-etal-2025-multi,
title = "Multi-{LM}entry: Can Multilingual {LLM}s Solve Elementary Tasks Across Languages?",
author = "Moroni, Luca  and
Aula-Blasco, Javier  and
Conia, Simone  and
Baucells, Irene  and
Perez, Naiara  and
Su{\'a}rez, Silvia Paniagua  and
Sall{\'e}s, Anna  and
Ostendorff, Malte  and
Falc{\~a}o, J{\'u}lia  and
Son, Guijin  and
Gonzalez-Agirre, Aitor  and
Navigli, Roberto  and
Villegas, Marta",
editor = "Christodoulopoulos, Christos  and
Chakraborty, Tanmoy  and
Rose, Carolyn  and
Peng, Violet",
booktitle = "Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing",
month = nov,
year = "2025",
address = "Suzhou, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2025.emnlp-main.1731/",
doi = "10.18653/v1/2025.emnlp-main.1731",
pages = "34114--34145",
ISBN = "979-8-89176-332-6"
}