Multi-LMentry ist ein mehrsprachiger Benchmark-Datensatz, der im Jahr 2025 veröffentlicht wurde und dazu dient, die sprachübergreifende Generalisierungsfähigkeit großer Sprachmodelle (LLMs) für Aufgaben des einfachen Sprachverständnisses und des grundlegenden Denkens in mehrsprachigen Umgebungen systematisch zu bewerten. Dieser Datensatz umfasst neun Sprachen: Englisch, Katalanisch, Deutsch, Spanisch, Baskisch, Galicisch, Koreanisch, Italienisch und brasilianisches Portugiesisch. Die Aufgaben wurden von Muttersprachlern manuell überarbeitet und ähneln in ihrer Form dem ursprünglichen LMentry-Framework, jedoch nicht als direkte Übersetzungen, um Natürlichkeit und kulturelle Angemessenheit zu gewährleisten.

Datensatzstruktur

• Der Datensatz ist nach Sprachen in Ordnern organisiert.
• In jedem Sprachordner entspricht jede Aufgabe einer JSON-Datei.
• Jede JSON-Datei enthält Eingabehinweise und die erwarteten Ausgaben für die Aufgabe.
• Zu den Aufgabentypen gehören einfacher Satzbau, kontextbezogene Wortschatzauswahl und logisches Schlussfolgern über Buchstaben.
• Manche Aufgaben sind sprachspezifisch; so sind beispielsweise Reimaufgaben in Sprachen ausgeschlossen, in denen sie nicht anwendbar sind.

Zitat

@inproceedings{moroni-etal-2025-multi,
title = "Multi-{LM}entry: Can Multilingual {LLM}s Solve Elementary Tasks Across Languages?",
author = "Moroni, Luca  and
Aula-Blasco, Javier  and
Conia, Simone  and
Baucells, Irene  and
Perez, Naiara  and
Su{\'a}rez, Silvia Paniagua  and
Sall{\'e}s, Anna  and
Ostendorff, Malte  and
Falc{\~a}o, J{\'u}lia  and
Son, Guijin  and
Gonzalez-Agirre, Aitor  and
Navigli, Roberto  and
Villegas, Marta",
editor = "Christodoulopoulos, Christos  and
Chakraborty, Tanmoy  and
Rose, Carolyn  and
Peng, Violet",
booktitle = "Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing",
month = nov,
year = "2025",
address = "Suzhou, China",
publisher = "Association for Computational Linguistics",
url = "https://aclanthology.org/2025.emnlp-main.1731/",
doi = "10.18653/v1/2025.emnlp-main.1731",
pages = "34114--34145",
ISBN = "979-8-89176-332-6"
}