U-MATH データ セットは、数学的推論における大規模言語モデル (LLM) の機能を評価するために特に使用される包括的なベンチマーク テスト セットです。このデータ セットは、2024 年に Toloka AI と Gradarius によって作成されました。関連する論文の結果は次のとおりです。U-MATH: LLM の数学スキルを評価するための大学レベルのベンチマーク”。このデータ セットには、本格的な教材から派生した 1,100 件の未公開の大学レベルの数学問題が含まれており、前微積分、代数、微分積分、積分微積分、多変数微積分、数列と級数という 6 つの主要な数学トピックをカバーしています。

U-MATH データセットの特徴は、そこに含まれる約 201 の TP3T 質問にグラフやチャートなどの視覚要素が含まれることです。これにより、データ処理が複雑になり、モデルがグラフィック情報を解釈して推論できる必要があります。 。データ セットの特性には、質問 ID、トピック タグ、画像、画像データ、問題文、正解が含まれているかどうかが含まれます。この情報は、モデルの数学的推論能力の包括的な評価基準を提供します。