Données d'entraînement AceMath-RM

Introduction à l'ensemble de données

Les données d'entraînement AceMath-RM constituent un ensemble de données utilisé pour entraîner le modèle de récompense AceMath-7B/72B-RM basé sur les résultats mathématiques. Cet ensemble contient 356 058 problèmes mathématiques uniques, chacun avec 6 réponses distinctes, soit un total de 2 136 348 exemples. Chaque exemple comprend la question, la solution détaillée et une étiquette binaire (1 pour correct, 0 pour incorrect). Ce jeu de données vise à faciliter l'entraînement de modèles de récompense dans le domaine du raisonnement mathématique. Les modèles entraînés sur ces données ont obtenu des résultats exceptionnels sur de nombreux jeux de données de référence en raisonnement mathématique. Par exemple, AceMath-72B-RM a atteint une précision moyenne rm@8 de 69,53% sur sept jeux de données, dont GSM8K, MATH500 et Minerva Math, surpassant ainsi le meilleur modèle précédent.

Composition de l'ensemble de données

• Échelle de données356 058 questions mathématiques uniques, 2 136 348 exemples (6 réponses possibles pour chaque question).
• Format des donnéesChaque échantillon est au format JSON et contient les champs suivants :qid(Identifiant unique du problème) message(Historique des conversations, y compris les messages système, les questions de l'utilisateur et les réponses de l'assistant) label(Fraction binaire).
• Segmentation des ensembles de donnéesPas de fractionnement ; toutes les données sont utilisées pour l’entraînement.
• Caractéristiques et particularitésLes questions couvrent plusieurs branches des mathématiques, les réponses incluent des raisonnements étape par étape, et les étiquettes sont appariées par des méthodes humaines ou automatisées.
• Cas d'utilisation: Entraîner un modèle mathématique de récompense de résultat pour sélectionner la meilleure réponse parmi plusieurs réponses candidates.
• Exemple de format de données:qid Pour les chaînes de caractères,message Pour une liste, chaque élément contient role et content,label Cela peut être 0 ou 1.
• Note importanteCe jeu de données est réservé à un usage non commercial et est distribué sous licence CC-BY-NC-4.0. Publié par NVIDIA, les questions originales proviennent de données générées par des modèles OpenAI et sont soumises à leurs conditions d'utilisation.
• licenceCreative Commons Attribution : Pas d’Utilisation Commerciale 4.0 International.

Citation

Si vous trouvez notre travail utile, veuillez nous citer :

@article{acemath2024,
title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
journal={arXiv preprint},
year={2024}
}