OpenMathInstruct-1 est un jeu de données d'instruction fine-tuning mathématique publié par NVIDIA en 2024, contenant 1,8 million de paires problème-solution. Les résultats de la publication associée sont disponibles sur OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset. Il vise à améliorer les capacités des modèles en matière de raisonnement mathématique et de génération de code grâce à des données synthétiques.

Ce jeu de données contient des problèmes issus des sous-ensembles d'entraînement GSM8K et MATH. Les solutions sont générées par le modèle Mixtral-8x7B, en combinant raisonnement textuel et exécution via un interpréteur de code Python. Le jeu de données est divisé en un ensemble d'entraînement et un ensemble de validation, couvrant l'intégralité des ensembles d'entraînement GSM8K et MATH. Il fournit des informations détaillées sur les champs, telles que la réponse attendue, la réponse prédite et les messages d'erreur.

Composition du jeu de données

Ce jeu de données contient les champs suivants :

• question : le problème original issu de l'ensemble d'entraînement GSM8K ou MATH.
• generated_solution : une solution synthétique mélangeant raisonnement textuel et blocs de code.
• expected_answer : la réponse standard de référence fournie dans le jeu de données original.
• predicted_answer : la réponse extraite par le modèle Mixtral à partir de la solution correspondante (extraite de \boxed{}).
• error_message : <not_executed> si le code n'a pas été utilisé ; sinon, vide ou contenant une exception Python issue du bloc de code correspondant. La chaîne timeout indique que l'exécution du bloc de code a dépassé 10 secondes.
• is_correct : indique si la réponse finale a été jugée correcte par le script de notation.
• dataset : le jeu de données d'origine, gsm8k ou math.
• generation_type : without_reference_solution ou masked_reference_solution.

Citation

@article{toshniwal2024openmath,
  title   = {OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset},
  author  = {Shubham Toshniwal and Ivan Moshkov and Sean Narenthiran and Daria Gitman and Fei Jia and Igor Gitman},
  year    = {2024},
  journal = {arXiv preprint arXiv: Arxiv-2402.10176}
}