AceMath-RM Trainingsdaten

Einführung in den Datensatz

Die AceMath-RM-Trainingsdaten sind ein Datensatz, der zum Trainieren des AceMath-7B/72B-RM-Modells zur Belohnung mathematischer Ergebnisse verwendet wird. Dieser Datensatz enthält 356.058 verschiedene mathematische Aufgaben mit jeweils 6 unterschiedlichen Lösungswegen, was insgesamt 2.136.348 Beispielen entspricht. Jedes Beispiel enthält die Aufgabe, die schrittweise Lösung und eine binäre Kennzeichnung (1 für richtig, 0 für falsch). Dieser Datensatz dient der Unterstützung des Trainings von Belohnungsmodellen im Bereich des mathematischen Denkens. Mit diesen Daten trainierte Belohnungsmodelle erzielten in mehreren Benchmarks für mathematisches Denken hervorragende Ergebnisse. Beispielsweise erreichte AceMath-72B-RM in sieben Benchmarks, darunter GSM8K, MATH500 und Minerva Math, eine durchschnittliche Genauigkeit von 69,53% (rm@8) und übertraf damit das bisher beste Modell.

Datensatzzusammensetzung

• Datenskala356.058 einzigartige mathematische Fragen, 2.136.348 Beispiele (6 mögliche Antworten pro Frage).
• DatenformatJedes Beispiel liegt im JSON-Format vor und enthält die folgenden Felder:qid(Eindeutige Kennung für die Ausgabe) message(Konversationsverlauf, einschließlich Systemaufforderungen, Benutzerfragen und Antworten des Assistenten) label(Binärfraktion).
• DatensatzsegmentierungKeine Aufteilung; alle Daten werden zum Training verwendet.
• Merkmale und EigenschaftenDie Fragen decken mehrere Bereiche der Mathematik ab, die Antworten beinhalten schrittweise Denkprozesse, und die Beschriftungen werden von Menschen oder automatisierten Methoden vorgenommen.
• Anwendungsfälle: Ein mathematisches Ergebnis-Belohnungsmodell trainieren, um die beste Antwort aus mehreren Kandidatenantworten auszuwählen.
• Beispiel für ein Datenformat:qid Für Saiten,message Bei einer Liste enthält jedes Element role Und content,label Es kann 0 oder 1 sein.
• Wichtiger HinweisDieser Datensatz ist ausschließlich für nichtkommerzielle Zwecke bestimmt und unter der CC-BY-NC-4.0-Lizenz lizenziert. Die von NVIDIA veröffentlichten Originalfragen basieren auf Daten, die von OpenAI-Modellen generiert wurden, und unterliegen deren Nutzungsbedingungen.
• LizenzCreative Commons Namensnennung: Nicht kommerziell 4.0 International.

Zitat

Wenn Sie unsere Arbeit hilfreich finden, zitieren Sie uns bitte:

@article{acemath2024,
title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
journal={arXiv preprint},
year={2024}
}