OpenWebMath Ensemble De Données De Formation En Mathématiques Sur Le Web Ouvert

OpenWebMath est un ensemble de données contenant des textes mathématiques de haute qualité provenant de la majeure partie d'Internet. Il est filtré et extrait de plus de 200 milliards de fichiers HTML sur Common Crawl, ce qui donne un ensemble de 6,3 millions de documents contenant un total de 14,7 milliards de jetons. OpenWebMath est conçu pour être utilisé pour la pré-formation etRéglage finGrands modèles de langage.