Einführung in den Datensatz

AceMath-RewardBench ist ein Benchmark-Datensatz zur Bewertung der Leistungsfähigkeit mathematischer Belohnungsmodelle. Dieser Benchmark verwendet ein Best-of-N-Verfahren (N=8) und umfasst die folgenden sieben Datensätze für mathematische Inferenz: GSM8K, Math500, Minerva Math, Gaokao 2023 En, OlympiadBench, College Math und MMLU STEM. Die Datensätze dienen dazu, die Fähigkeit von Belohnungsmodellen zu messen, die korrekte Lösung aus mehreren Lösungskandidaten auszuwählen. Jedes Beispiel enthält eine mathematische Aufgabe und 64 Lösungsversuche von 8 verschiedenen Sprachmodellen unterschiedlicher Qualität. Der Datensatz liefert für jede Lösung einen True Score sowie zusätzliche Metadaten wie Schwierigkeitsgrad und Fachgebiet. Die Bewertungskriterien basieren auf Diversität (64 Antworten pro Aufgabe von 8 verschiedenen Modellen) und Robustheit (ermittelt durch Mittelung der Ergebnisse von 100 zufällig generierten Startwerten).

Datensatzzusammensetzung

Der Datensatz enthält 7 Teilmengen, die jeweils einer anderen mathematischen Denkaufgabe entsprechen. Die genaue Anzahl der Fragen ist wie folgt: – GSM8K: 1319 Fragen – Math500: 500 Fragen – Minerva Mathematik: 272 Fragen – Gaokao 2023 En: 385 Fragen OlympiadBench: 675 Fragen – Hochschulmathematik: 2818 Fragen – MMLU STEM: 3018 Fragen Das Datenformat jedes Beispiels umfasst die folgenden Felder:question(Text mathematischer Aufgaben) code(Vollständige Liste der Modelllösungen) gt(Standardantwort) pred(Eine Liste der aus jeder Lösung extrahierten, vorhergesagten Antworten) score(Eine Liste von booleschen Werten, die angeben, ob jede Lösung mit der Standardantwort übereinstimmt) idx(Index), report(Bericht), gt_cot(Der Gedankengang hinter der Standardantwort). Der Datensatz zeichnet sich durch Diversität (64 Antworten aus 8 verschiedenen Modellen) und Robustheit aus (8 Kandidaten werden zufällig aus 64 Kandidaten mithilfe von 100 Zufallszahlen ausgewählt, und das durchschnittliche Ergebnis wird angegeben). Dieser Datensatz eignet sich zur Bewertung der Leistungsfähigkeit mathematischer Belohnungsmodelle, insbesondere im optimalen N-zu-1-Szenario. Lizenzinformationen: Dieser Datensatz ist unter der Creative Commons Attribution Non-Commercial 4.0 International (CC-BY-NC-4.0) Lizenz lizenziert und ist ausschließlich für nichtkommerzielle Zwecke bestimmt.

Zitat

@article{acemath2024, title={AceMath: Fortschritte im mathematischen Denken der Grenzgebiete durch Nachschulung und Belohnungsmodellierung}, Autor={Liu, Zihan und Chen, Yang und Shoeybi, Mohammad und Catanzaro, Bryan und Ping, Wei}, Journal={arXiv Preprint}, Jahr={2024} }