Multi-LMentry는 2025년에 발표된 다국어 벤치마크 데이터 세트로, 다국어 환경에서 저수준 언어 이해 및 기본 추론 작업을 위한 대규모 언어 모델(LLM)의 언어 간 일반화 능력을 체계적으로 평가하도록 설계되었습니다. 이 데이터 세트는 영어, 카탈루냐어, 독일어, 스페인어, 바스크어, 갈리시아어, 한국어, 이탈리아어, 브라질 포르투갈어 등 9개 언어를 다룹니다. 이 과제들은 원어민이 직접 재설계했으며, 원래 LMentry 프레임워크와 유사한 형태이지만, 자연스러운 표현과 문화적 적합성을 보장하기 위해 직접 번역한 것은 아닙니다.

데이터 세트 구조

• 데이터 세트는 언어별로 폴더로 구성됩니다.
• 각 언어 폴더에서 각 작업은 JSON 파일에 해당합니다.
• 각 JSON 파일에는 작업에 대한 입력 힌트와 예상 출력이 포함되어 있습니다.
• 과제 유형에는 간단한 문장 구성, 문맥에 맞는 어휘 선택, 문자 추론 등이 있습니다.
• 일부 과제는 언어에 따라 달라집니다. 예를 들어, 운율 과제는 운율이 적용되지 않는 언어에서는 제외됩니다.