PolyMathは、アリババのQianwenチームが上海交通大学と共同で2025年に公開した多言語による数学的推論評価データセットです。関連する研究論文のタイトルは「…」です。PolyMath: 多言語環境における数学的推論の評価この研究は、NeurIPS 2025データセットとベンチマークに選ばれており、多言語条件下での大規模言語モデルの数学的理解、推論の深さ、言語間の一貫性のパフォーマンスを体系的に評価することを目的としています。

このデータセットには、500問の高品質な数学的推論問題が含まれており、難易度ごとに125問が用意されています。18の言語と4つの難易度レベルを網羅し、リソースの多い言語と少ない言語の両方に対応する18の並列言語バージョンを含み、世界中の751,000人以上のネイティブスピーカーをカバーしています。難易度の範囲は、幼稚園から高校までの基礎数学からオリンピックや最先端の数学分野まで幅広く、これにより、高品質で多次元的かつ高度な識別力を持つ数学的推論評価システムを構築しています。

データセットの配布:

• 問題の数と配分: 各言語ごとに各難易度で 125 問が用意されており、バランスの取れた難易度構成となっています。
• 難易度分類基準：「思考の深さ」と「知識の広さ」に基づいて 4 つのレベルに分かれています。
  • レベル1：基礎（K-12）
  • レベル2：上級（高校生から高学年）
  • レベル3: 高難易度（オリンピックレベル）
  • レベル4：最先端（高度な数学と研究レベルの推論）