Multi-LMentry est un ensemble de données de référence multilingue publié en 2025, conçu pour évaluer systématiquement la capacité de généralisation interlingue des grands modèles de langage (LLM) pour la compréhension du langage de bas niveau et les tâches de raisonnement de base dans des environnements multilingues.

Cet ensemble de données couvre neuf langues : anglais, catalan, allemand, espagnol, basque, galicien, coréen, italien et portugais brésilien. Les tâches ont été reformulées manuellement par des locuteurs natifs, dans une forme similaire à celle du cadre LMentry original, mais sans traduction directe, afin de garantir un rendu naturel et une adéquation culturelle.

Structure du jeu de données

• L'ensemble de données est organisé en dossiers par langue.
• Dans chaque dossier de langue, chaque tâche correspond à un fichier JSON.
• Chaque fichier JSON contient des indications sur les entrées et les sorties attendues pour la tâche.
• Les types de tâches comprennent la construction de phrases simples, la sélection de vocabulaire contextuel et le raisonnement à partir de lettres.
• Certaines tâches sont spécifiques à une langue ; par exemple, les tâches de rimes sont exclues dans les langues où elles ne sont pas applicables.