OpenMathInstruct-1 : Un jeu de données d'entraînement par instruction mathématique de 1,8 million de samples

Les travaux récents ont mis en évidence le potentiel considérable des jeux de données synthétiques pour l'entraînement des grands modèles linguistiques (LLM), en particulier pour acquérir des compétences ciblées. Les jeux de données actuels d'entraînement à l'instruction mathématique à grande échelle, tels que MetaMathQA (Yu et al., 2024) et MAmmoTH (Yue et al., 2024), sont construits à partir des sorties de modèles linguistiques à code fermé, soumis à des licences commerciales restrictives. Une des raisons principales limitant l'utilisation des modèles linguistiques open-source dans ces chaînes de génération de données réside dans l’écart important entre les compétences mathématiques des meilleurs modèles fermés, comme GPT-4, et celles des meilleurs modèles open-source. S'appuyant sur les progrès récents réalisés dans les modèles linguistiques open-source, sur notre nouvelle approche de prompting, ainsi que sur une certaine escalade par force brute, nous avons construit OpenMathInstruct-1, un jeu de données d'entraînement par instruction mathématique comprenant 1,8 million de paires problème-solution. Ce jeu de données a été généré en synthétisant des solutions via un interpréteur de code pour deux benchmarks populaires de raisonnement mathématique : GSM8K et MATH, en utilisant le modèle Mixtral, récemment publié et distribué sous une licence permissive. Notre meilleur modèle, OpenMath-CodeLlama-70B, entraîné sur un sous-ensemble d'OpenMathInstruct-1, atteint un score de 84,6 % sur GSM8K et de 50,7 % sur MATH, ce qui est compétitif avec les meilleurs modèles gpt-distilled. Nous mettons à disposition notre code, nos modèles et le jeu de données OpenMathInstruct-1 sous une licence commercialement permissive.