Multi-LMentry 是于 2025 年发布的一个多语言评测基准数据集，旨在系统评估大型语言模型（LLMs）在多语言环境下对低层次语言理解与基础推理任务的跨语言泛化能力。

该数据集涵盖九种语言：英语、加泰罗尼亚语、德语、西班牙语、巴斯克语、加利西亚语、韩语、意大利语和巴西葡萄牙语。任务由母语使用者手动重新设计，形式与原始 LMentry 框架相似，但并非直接翻译，以确保语言与文化的自然性和适配性。

数据集结构

• 该数据集按语言分文件夹组织。
• 在每个语言文件夹中，每个任务对应一个 JSON 文件。
• 每个 JSON 文件包含该任务的输入提示和预期输出。
• 任务类型包括简单句子构造、语境词汇选择、字母推理等。
• 部分任务具有语言特定性，例如在不适用的语言中排除了押韵词任务。