Ensemble De Données De Pré-entraînement Mathématique Nemotron-CC-Math

Nemotron-CC-Math est un ensemble de données de pré-formation de haute qualité et à grande échelle axé sur les mathématiques, publié par NVIDIA et l'Université de Boston en 2025. Les résultats de l'article associé sont «Nemotron-CC-Math : un ensemble de données de pré-entraînement mathématique de haute qualité à l'échelle de 133 milliards de jetons», vise à préserver et à afficher un contenu mathématique et de code de grande valeur, favorisant ainsi la prochaine vague de modèles linguistiques intelligents et performants à l'échelle mondiale.

Cet ensemble de données, contenant 133 milliards de jetons, a été construit à partir de Common Crawl à l'aide d'un pipeline d'extraction et de normalisation basé sur NVIDIA Lynx et un LLM léger. Tout en préservant la structure des équations et du code, le contenu mathématique est standardisé dans un format LaTeX modifiable. Il s'agit de la première couverture fiable de divers formats mathématiques (y compris de longue traîne) à l'échelle du web ; ses avantages ont été validés par de nombreux benchmarks.