Der AceMath RewardBench ist ein von NVIDIA im Jahr 2024 veröffentlichtes Datenset zur Bewertung der Fähigkeiten mathematischer Belohnungsmodelle; die zugehörige Forschungsarbeit findet sich unter „AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling“. Ziel ist es, die Leistung mathematischer Schlussfolgerungs-Belohnungsmodelle umfassend anhand eines Best-of-N-Einstellungsrahmens (mit N=8) zu messen.

Das Dataset enthält Stichproben aus sieben weiteren Datensätzen: GSM8K (1319 Aufgaben), Math500 (500 Aufgaben), Minerva Math (272 Aufgaben), Gaokao 2023 en (385 Aufgaben), OlympiadBench (675 Aufgaben), College Math (2818 Aufgaben) und MMLU STEM (3018 Aufgaben).
Jede Instanz umfasst eine mathematische Frage, bis zu 64 Antwortversuche unterschiedlicher Qualität, generiert durch acht verschiedene Sprachmodelle wie Qwen2/2.5-Math, LLaMA3.1, Mathstral und DeepSeek-Math, sowie deren jeweilige Ground-Truth-Scores und Metadaten wie Aufgabenschwierigkeit und Themenbereich.
Dieser Benchmark legt besonderen Wert auf Vielfalt und Robustheit; die Durchschnittsergebnisse werden mittels Zufallsstichprobe über hundert zufällige Seeds ermittelt.

Zusammensetzung des Datensatzes

Das Dataset beinhaltet folgende Felder:

• question: Textbeschreibung der mathematischen Aufgabe
• code: Liste vollständiger vom Modell generierter Antworten/Lösungen
• gt: Ground-Truth-Antwort
• pred: Liste extrahierbarer Vorhersagen aus jeder Modellausgabe
• score: Boolesche Liste, die angibt, ob jede Ausgabe mit dem Ground-Truth-Wert übereinstimmt
• report: Zugehöriger Bericht
• idx: Indexnummer
• gt_cot: Ground-Truth-Denkwegkette

Zitation

@article{acemath2024,
  title={AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling},
  author={Liu, Zihan and Chen, Yang and Shoeybi, Mohammad and Catanzaro, Bryan and Ping, Wei},
  journal={arXiv preprint},
  year={2024}
}