AceMath RM Training Data est un ensemble de données publié par NVIDIA en 2024, destiné à l'entraînement de modèles de récompense basés sur les résultats mathématiques (Outcome Reward Modeling). Les résultats de recherche associés sont présentés dans l'article « AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling », visant à améliorer les performances des grands modèles dans les tâches de raisonnement mathématique.

Cet ensemble de données contient 356 058 problèmes mathématiques uniques, totalisant 2 136 348 échantillons, chaque problème correspondant à 6 réponses différentes. Les données sont principalement utilisées pour entraîner les modèles de récompense AceMath-7B et AceMath-72B, en optimisant les capacités de raisonnement mathématique par l'évaluation de l'exactitude des réponses des modèles. Sur plusieurs benchmarks, les modèles entraînés à partir de ces données ont démontré des performances exceptionnelles en raisonnement mathématique, surpassant de nombreux modèles open source et propriétaires populaires.

Composition de l'ensemble de données

L'ensemble de données comprend principalement les champs et structures suivants :

• qid : identifiant unique du problème.
• message : liste de conversations contenant les invites système, les questions utilisateur et les solutions étape par étape de l'assistant. Chaque message comprend role (rôle, tel que system, user, assistant) et content (contenu).
• label : étiquette binaire indiquant si la réponse est correcte/excellente (1 pour correct, 0 pour incorrect).

Le format des données est une liste d'objets JSON, pouvant être directement chargée et utilisée pour l'entraînement. Chaque échantillon représente un problème mathématique et les données de comparaison de ses multiples réponses candidates.

Citation

@article{acemath2024,
  title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
  author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint},
  year={2024}
}