Introduction à l'ensemble de données

AceMath-RewardBench est un jeu de données de référence permettant d'évaluer les performances des modèles de récompense mathématiques. Ce jeu de données utilise une configuration « meilleur sur N » (N = 8) et couvre les sept jeux de données d'inférence mathématique suivants : GSM8K, Math500, Minerva Math, Gaokao 2023 En, OlympiadBench, College Math et MMLU STEM. Ces jeux de données sont conçus pour mesurer la capacité des modèles de récompense à sélectionner la solution correcte parmi plusieurs solutions candidates. Chaque exemple contient un problème mathématique et 64 tentatives de résolution issues de 8 modèles de langage différents, de qualité variable. L'ensemble de données fournit un score exact pour chaque solution, ainsi que des métadonnées supplémentaires telles que la difficulté du problème et le domaine concerné. Les critères d'évaluation reposent sur deux axes : la diversité (64 réponses par problème provenant de 8 modèles différents) et la robustesse (évaluée en calculant la moyenne des résultats obtenus avec 100 initialisations aléatoires).

Composition de l'ensemble de données

L'ensemble de données contient 7 sous-ensembles, chacun correspondant à une tâche de raisonnement mathématique différente. Le nombre précis de questions est le suivant : – GSM8K : 1319 questions – Math500 : 500 questions – Minerva Math : 272 questions – Gaokao 2023 Fr : 385 questions OlympiadBench : 675 questions – Mathématiques universitaires : 2818 questions – MMLU STEM : 3018 questions Le format de données de chaque exemple comprend les champs suivants :question(Texte des problèmes mathématiques) code(Liste complète des solutions modèles) gt(Réponse standard) pred(Liste des réponses prédites extraites de chaque solution) score(Une liste de valeurs booléennes indiquant si chaque solution correspond à la réponse standard) idx(indice), report(Rapport), gt_cot(Le raisonnement qui sous-tend la réponse standard). L'ensemble de données présente une grande diversité (64 réponses issues de 8 modèles différents) et une robustesse certaine (8 candidats sont sélectionnés aléatoirement parmi 64 à l'aide de 100 valeurs initiales aléatoires, et le résultat moyen est calculé). Cet ensemble de données est adapté à l'évaluation des performances des modèles mathématiques de récompense, notamment dans le cadre optimal N-à-1. Informations relatives à la licence : Cet ensemble de données est distribué sous licence Creative Commons Attribution Non-Commercial 4.0 International (CC-BY-NC-4.0) et est destiné à un usage non commercial uniquement.

Citation

@article{acemath2024, titre={AceMath : Faire progresser le raisonnement mathématique de pointe grâce à la modélisation post-formation et de récompense}, auteur={Liu, Zihan et Chen, Yang et Shoeybi, Mohammad et Catanzaro, Bryan et Ping, Wei}, journal={prépublication arXiv}, année={2024} }