Multi-LMentry est un ensemble de données de référence multilingue publié en 2025, conçu pour évaluer systématiquement la capacité de généralisation interlingue des grands modèles de langage (LLM) pour la compréhension du langage de bas niveau et les tâches de raisonnement de base dans des environnements multilingues. Cet ensemble de données couvre neuf langues : anglais, catalan, allemand, espagnol, basque, galicien, coréen, italien et portugais brésilien. Les tâches ont été reformulées manuellement par des locuteurs natifs, dans une forme similaire à celle du cadre LMentry original, mais sans traduction directe, afin de garantir un rendu naturel et une adéquation culturelle.

Structure du jeu de données

• L'ensemble de données est organisé en dossiers par langue.
• Dans chaque dossier de langue, chaque tâche correspond à un fichier JSON.
• Chaque fichier JSON contient des indications sur les entrées et les sorties attendues pour la tâche.
• Les types de tâches comprennent la construction de phrases simples, la sélection de vocabulaire contextuel et le raisonnement à partir de lettres.
• Certaines tâches sont spécifiques à une langue ; par exemple, les tâches de rimes sont exclues dans les langues où elles ne sont pas applicables.

Citation

@inproceedings{moroni-etal-2025-multi,
title = "Multi-{LM}entry: Can Multilingual {LLM}s Solve Elementary Tasks Across Languages?",
author = "Moroni, Luca  and
Aula-Blasco, Javier  and
Conia, Simone  and
Baucells, Irene  and
Perez, Naiara  and
Su{\'a}rez, Silvia Paniagua  and
Sall{\'e}s, Anna  and
Ostendorff, Malte  and
Falc{\~a}o, J{\'u}lia  and
Son, Guijin  and
Gonzalez-Agirre, Aitor  and
Navigli, Roberto  and
Villegas, Marta",
editor = "Christodoulopoulos, Christos  and
Chakraborty, Tanmoy  and
Rose, Carolyn  and
Peng, Violet",
booktitle = "Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing",
month = nov,
year = "2025",
address = "Suzhou, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2025.emnlp-main.1731/",
doi = "10.18653/v1/2025.emnlp-main.1731",
pages = "34114--34145",
ISBN = "979-8-89176-332-6"
}