OpenMath GSM8K Masked est un dataset masqué destiné aux tâches de raisonnement mathématique, publié par NVIDIA en 2024. Les résultats associés sont présentés dans la publication « OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset ». Son objectif est de fournir des versions masquées des solutions de GSM8K afin d'aider à la génération synthétique de solutions supplémentaires pour le dataset GSM8K. Par rapport à l'utilisation directe des solutions originales, cette approche réduit le risque d'incohérences de raisonnement.

Ce dataset a été utilisé pour construire OpenMathInstruct-1, un dataset de réglage fin (fine-tuning) d'instructions mathématiques contenant 1,8 million de paires problème-solution. Il a été généré à l'aide du modèle Mixtral-8x7B, dont la licence est permissive.

Composition du dataset

Le dataset est stocké au format JSON et comprend l'ensemble d'entraînement « train », contenant 7 473 échantillons :

• Question (question) : le texte du problème de mathématiques original de GSM8K.
• Solution masquée (masked_reference_solution) : une version de la solution originale où certaines informations clés sont masquées, généralement en remplaçant les nombres ou les résultats de calculs intermédiaires par des lettres, afin que le modèle puisse compléter les étapes de la résolution.
• Solution de référence (reference_solution) : le processus de résolution complet original, utilisé comme référence pour la version masquée et pour aider à la génération de nouvelles solutions.
• Réponse attendue (expected_answer) : la réponse finale correspondant au problème mathématique, permettant de vérifier la correction des résultats générés.

Citation

@article{toshniwal2024openmath,
  title   = {OpenMathInstruct-1: A 1.8 Million Math Instruction Tuning Dataset},
  author  = {Shubham Toshniwal and Ivan Moshkov and Sean Narenthiran and Daria Gitman and Fei Jia and Igor Gitman},
  year    = {2024},
  journal = {arXiv preprint arXiv: Arxiv-2402.10176}
}