Multi-LMentry ist ein mehrsprachiger Benchmark-Datensatz, der im Jahr 2025 veröffentlicht wurde und dazu dient, die sprachübergreifende Generalisierungsfähigkeit großer Sprachmodelle (LLMs) für Aufgaben des einfachen Sprachverständnisses und des grundlegenden Denkens in mehrsprachigen Umgebungen systematisch zu bewerten.

Dieser Datensatz umfasst neun Sprachen: Englisch, Katalanisch, Deutsch, Spanisch, Baskisch, Galicisch, Koreanisch, Italienisch und brasilianisches Portugiesisch. Die Aufgaben wurden von Muttersprachlern manuell überarbeitet und ähneln in ihrer Form dem ursprünglichen LMentry-Framework, jedoch nicht als direkte Übersetzungen, um Natürlichkeit und kulturelle Angemessenheit zu gewährleisten.

Datensatzstruktur

• Der Datensatz ist nach Sprachen in Ordnern organisiert.
• In jedem Sprachordner entspricht jede Aufgabe einer JSON-Datei.
• Jede JSON-Datei enthält Eingabehinweise und die erwarteten Ausgaben für die Aufgabe.
• Zu den Aufgabentypen gehören einfacher Satzbau, kontextbezogene Wortschatzauswahl und logisches Schlussfolgern über Buchstaben.
• Manche Aufgaben sind sprachspezifisch; so sind beispielsweise Reimaufgaben in Sprachen ausgeschlossen, in denen sie nicht anwendbar sind.