AceMath RM Training Data ist ein von NVIDIA im Jahr 2024 veröffentlichtes Dataset zur Schulung von Outcome-Reward-Modellen für mathematische Ergebnisse; die zugehörige Forschungsarbeit findet sich unter «AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling. Ziel ist es, die Leistung großer Sprachmodelle bei Aufgaben der mathematischen Schlussfolgerung zu verbessern.

Das Dataset umfasst 356.058 eindeutige mathematische Fragen und insgesamt 2.136.348 Samples, wobei jede Frage sechs verschiedene Antworten enthält.
Die Daten werden hauptsächlich zum Trainieren der Belohnungsmodelle AceMath-7B und AceMath-72B eingesetzt, indem sie die Korrektheit der Modellantworten bewerten, um die Fähigkeit zur mathematischen Deduktion zu optimieren. In mehreren Benchmarktests zeigten Modelle, die mit diesen Daten trainiert wurden, herausragende Leistungen im Bereich des mathematischen Denkens und übertrafen zahlreiche gängige Open-Source- sowie proprietäre Modelle.

Zusammensetzung des Datasets

Das Dataset besteht vor allem aus den folgenden Feldern und Strukturen:

• qid: Eindeutiger Identifier der Frage.
• message: Eine Liste von Dialognachrichten, die System-Prompts, Benutzerfragen und schrittweise Lösungen durch Assistenten enthalten. Jede Nachricht beinhaltet eine Rolle (role, wie „System“, „Benutzer“ oder „Assistent“) und einen Inhalt (content).
• label: Binäres Label, das angibt, ob die Antwort korrekt/hervorragend ist („1“ = richtig, „0“ = falsch).

Das Datenvorlageformat entspricht einer Liste von JSON-Objekten und kann direkt geladen und verwendet werden. Jedes Sample repräsentiert einen Vergleich zwischen einer einzelnen mathematischen Aufgabe und ihren verschiedenen Lösungsvorschlägen.

Datenbeispiel

Zitierhinweis

@article{acemath2024,
  title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
  author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint},
  year={2024}
}