L'ensemble de données U-MATH est un ensemble de tests de référence complet spécialement conçu pour évaluer les capacités de raisonnement mathématique des grands modèles de langage (LLM). Cet ensemble de données a été créé par Toloka AI et Gradarius en 2024. Les résultats pertinents de l'article sont «U-MATH : un référentiel universitaire pour l'évaluation des compétences mathématiques dans les masters de droit". Cet ensemble de données contient 1 100 problèmes mathématiques de niveau universitaire non publiés dérivés de supports pédagogiques authentiques et couvre six sujets mathématiques de base : mathématiques élémentaires, algèbre, calcul différentiel, calcul intégral, calcul multivariable et suites et séries.

Une caractéristique notable de l’ensemble de données U-MATH est les questions multimodales qu’il contient. Environ 20% des questions impliquent des éléments visuels tels que des graphiques et des tableaux, ce qui augmente la complexité du traitement des données et nécessite que le modèle soit capable d'interpréter et de raisonner sur des informations graphiques. Les caractéristiques de l'ensemble de données incluent l'ID de la question, les balises de sujet, la présence ou non d'images, les données d'image, les énoncés de questions et les réponses correctes, qui fournissent une base d'évaluation complète de la capacité de raisonnement mathématique du modèle.