OpenMath GSM8K Masked ist ein 2024 von NVIDIA veröffentlichter, maskierter Datensatz für mathematische Reasoning-Aufgaben. Die zugehörige Publikation ist OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset. Er zielt darauf ab, durch die Bereitstellung maskierter Lösungen für GSM8K die synthetische Generierung zusätzlicher Lösungsschritte für GSM8K zu unterstützen. Im Vergleich zur direkten Verwendung der ursprünglichen Lösungen führt dieser Ansatz weniger häufig zu Inkonsistenzen im Reasoning-Prozess.

Dieser Datensatz wurde verwendet, um den mathematischen Instruction-Fine-Tuning-Datensatz OpenMathInstruct-1 zu erstellen, der 1,8 Millionen Frage-Lösungs-Paare umfasst. Die Generierung erfolgte auf Basis des unter einer permissiven Lizenz stehenden Modells Mixtral-8x7B.

Zusammensetzung des Datensatzes

Der Datensatz liegt im JSON-Format vor und enthält den Trainingsdatensatz „train“ mit insgesamt 7.473 Beispielen:

• Frage (question): Der Textinhalt der ursprünglichen GSM8K-Mathematiktextaufgaben.
• Maskierte Referenzlösung (masked_reference_solution): Teile des ursprünglichen Lösungsprozesses sind maskiert, wobei häufig Buchstabenplatzhalter anstelle von Zahlen oder Zwischenberechnungen verwendet werden, damit das Modell die Lösungsschritte vervollständigen kann.
• Referenzlösung (reference_solution): Der vollständige ursprüngliche Lösungsweg, der zum Vergleich mit der maskierten Version und zur Unterstützung bei der Generierung neuer Lösungen dient.
• Erwartete Antwort (expected_answer): Die endgültige Antwort auf die mathematische Aufgabe, die zur Überprüfung der Richtigkeit der generierten Ergebnisse verwendet werden kann.

Zitierung

@article{toshniwal2024openmath,
  title   = {OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset},
  author  = {Shubham Toshniwal and Ivan Moshkov and Sean Narenthiran and Daria Gitman and Fei Jia and Igor Gitman},
  year    = {2024},
  journal = {arXiv preprint arXiv: Arxiv-2402.10176}
}