Multi-LMentry は、2025 年にリリースされた多言語ベンチマーク データセットであり、多言語環境における低レベル言語理解および基本推論タスクのための大規模言語モデル (LLM) の言語間一般化能力を体系的に評価するように設計されています。

このデータセットは、英語、カタロニア語、ドイツ語、スペイン語、バスク語、ガリシア語、韓国語、イタリア語、ブラジル系ポルトガル語の9つの言語をカバーしています。タスクはネイティブスピーカーによって手動で再設計され、元のLMentryフレームワークに似た形式ですが、自然さと文化的な適合性を確保するため、直接的な翻訳ではありません。

データセットの構造

• データセットは言語ごとにフォルダーに整理されています。
• 各言語フォルダーでは、各タスクが JSON ファイルに対応しています。
• 各 JSON ファイルには、タスクの入力ヒントと予想される出力が含まれています。
• タスクの種類には、簡単な文の構成、文脈上の語彙の選択、文字の推論などがあります。
• 一部のタスクは言語に固有です。たとえば、韻を踏むタスクは、該当しない言語では除外されます。