AceMath RM Training Data ist ein von NVIDIA im Jahr 2024 veröffentlichtes Datenset für das Training von Mathematik-Ergebnis-Belohnungsmodellen (Outcome Reward Modeling). Die zugehörige Forschungsergebnis-Publikation ist „AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling", die darauf abzielt, die Leistung großer Modelle bei mathematischen Denkaufgaben zu verbessern.

Das Datenset enthält 356.058 eindeutige mathematische Probleme mit insgesamt 2.136.348 Stichproben, wobei jedes Problem 6 verschiedene Antworten umfasst. Die Daten werden hauptsächlich zum Training der AceMath-7B- und AceMath-72B-Belohnungsmodelle verwendet, um die mathematischen Denkfähigkeiten durch die Bewertung der Richtigkeit der Modellantworten zu optimieren. In mehreren Benchmark-Tests zeigten die mit diesen Daten trainierten Modelle eine herausragende mathematische Denkleistung und übertrafen verschiedene gängige Open-Source- sowie proprietäre Modelle.

Zusammensetzung des Datensets

Das Datenset enthält hauptsächlich die folgenden Felder und Strukturen:

• qid: Eindeutige Problemkennung.
• message: Eine Liste von Dialogen, die Systemaufforderungen, Benutzerfragen und schrittweise Lösungen des Assistenten enthält. Jede Nachricht enthält role (Rolle, z. B. system, user, assistant) und content (Inhalt).
• label: Binäres Klassifikationslabel, das angibt, ob die Antwort korrekt/exzellent ist (1 für korrekt, 0 für falsch).

Das Datenformat ist eine Liste von JSON-Objekten, die direkt zum Laden und Trainieren verwendet werden kann. Jede Stichprobe repräsentiert ein mathematisches Problem und die Vergleichsdaten mehrerer Kandidatenantworten.

Citation

@article{acemath2024,
  title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
  author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint},
  year={2024}
}