* Cet ensemble de données prend en charge l'utilisation en ligne.Cliquez ici pour sauter.

Omni-MATH est un ensemble de données de référence de raisonnement mathématique de niveau Olympiade créé par l'Université de Pékin et Alibaba, qui vise à évaluer les performances des grands modèles de langage (LLM) sur des problèmes mathématiques de niveau Olympiade. Les résultats pertinents de l'article sontOmni-MATH : une référence mathématique de niveau Olympiade universelle pour les grands modèles de langage".

Cet ensemble de données contient 4 428 problèmes mathématiques de niveau compétition rigoureusement annotés manuellement, couvrant 33 sous-domaines et plus de 10 niveaux de difficulté différents, du niveau préparatoire aux Olympiades aux meilleures compétitions mathématiques des Olympiades telles que l'IMO (International Mathematical Olympiad), l'IMC (International Mathematical Contest) et le Putnam Mathematics Competition.

Le processus de création d'Omni-MATH comprend la collecte de données provenant de compétitions mondiales de mathématiques et leur vérification par annotation humaine pour garantir la haute qualité et la diversité des données. Lors de la construction de l’ensemble de données, l’équipe de recherche a utilisé GPT-4o pour classer les questions et les diviser en différents domaines mathématiques afin d’évaluer les performances du modèle dans différents domaines mathématiques.