OpenMathInstruct-1 ist ein von NVIDIA im Jahr 2024 veröffentlichtes Dataset mit 1,8 Millionen Frage-Lösungs-Paaren für die Feinabstimmung von mathematischen Anweisungen. Die zugehörige wissenschaftliche Veröffentlichung ist „OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset“. Ziel ist es, die Fähigkeiten von Modellen im Bereich mathematisches Reasoning und Codegenerierung durch synthetische Daten zu verbessern.

Das Dataset enthält Fragen aus den Trainings-Untermengen von GSM8K und MATH. Die Lösungen wurden unter Verwendung des Mixtral-8x7B-Modells generiert, das Text-Reasoning mit der Ausführung von Python-Code-Interpretern kombiniert. Das Dataset ist in einen Trainings- und einen Validierungssatz unterteilt, deckt den vollständigen Trainingsumfang von GSM8K und MATH ab und stellt detaillierte Feldinformationen wie erwartete Antworten, vorhergesagte Antworten und Fehlermeldungen bereit.

Zusammensetzung des Datasets

Das Dataset umfasst die folgenden Felder:

• question: Die Originalfrage aus dem GSM8K- oder MATH-Trainingsset.
• generated_solution: Synthetische Lösungen, die Text-Reasoning und Codeblöcke mischen.
• expected_answer: Die im Originaldatensatz angegebene Faktenlösung (Ground Truth).
• predicted_answer: Die vom Mixtral-Modell in der entsprechenden Lösung extrahierte Antwort (extrahiert aus \boxed{}).
• error_message: <not_executed>, wenn kein Code verwendet wurde; andernfalls leer oder enthält eine Python-Ausnahme aus dem entsprechenden Codeblock. Die Zeichenfolge timeout zeigt an, dass die Ausführung des Codeblocks 10 Sekunden überschritten hat.
• is_correct: Gibt an, ob die endgültige Antwort vom Bewertungsskript als korrekt eingestuft wurde.
• dataset: Der Quellendatensatz, entweder gsm8k oder math.
• generation_type: ohne Referenzlösung (without_reference_solution) oder mit maskierter Referenzlösung (masked_reference_solution).

Zitation

@article{toshniwal2024openmath,
  title   = {OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset},
  author  = {Shubham Toshniwal and Ivan Moshkov and Sean Narenthiran and Daria Gitman and Fei Jia and Igor Gitman},
  year    = {2024},
  journal = {arXiv preprint arXiv: Arxiv-2402.10176}
}