Multi-LMentry는 2025년에 발표된 다국어 벤치마크 데이터 세트로, 다국어 환경에서 저수준 언어 이해 및 기본 추론 작업을 위한 대규모 언어 모델(LLM)의 언어 간 일반화 능력을 체계적으로 평가하도록 설계되었습니다. 이 데이터 세트는 영어, 카탈루냐어, 독일어, 스페인어, 바스크어, 갈리시아어, 한국어, 이탈리아어, 브라질 포르투갈어 등 9개 언어를 다룹니다. 이 과제들은 원어민이 직접 재설계했으며, 원래 LMentry 프레임워크와 유사한 형태이지만, 자연스러운 표현과 문화적 적합성을 보장하기 위해 직접 번역한 것은 아닙니다.

데이터 세트 구조

• 데이터 세트는 언어별로 폴더로 구성됩니다.
• 각 언어 폴더에서 각 작업은 JSON 파일에 해당합니다.
• 각 JSON 파일에는 작업에 대한 입력 힌트와 예상 출력이 포함되어 있습니다.
• 과제 유형에는 간단한 문장 구성, 문맥에 맞는 어휘 선택, 문자 추론 등이 있습니다.
• 일부 과제는 언어에 따라 달라집니다. 예를 들어, 운율 과제는 운율이 적용되지 않는 언어에서는 제외됩니다.

소환

@inproceedings{moroni-etal-2025-multi,
title = "Multi-{LM}entry: Can Multilingual {LLM}s Solve Elementary Tasks Across Languages?",
author = "Moroni, Luca  and
Aula-Blasco, Javier  and
Conia, Simone  and
Baucells, Irene  and
Perez, Naiara  and
Su{\'a}rez, Silvia Paniagua  and
Sall{\'e}s, Anna  and
Ostendorff, Malte  and
Falc{\~a}o, J{\'u}lia  and
Son, Guijin  and
Gonzalez-Agirre, Aitor  and
Navigli, Roberto  and
Villegas, Marta",
editor = "Christodoulopoulos, Christos  and
Chakraborty, Tanmoy  and
Rose, Carolyn  and
Peng, Violet",
booktitle = "Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing",
month = nov,
year = "2025",
address = "Suzhou, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2025.emnlp-main.1731/",
doi = "10.18653/v1/2025.emnlp-main.1731",
pages = "34114--34145",
ISBN = "979-8-89176-332-6"
}