OpenWebMath Trainingsdatensatz Für Offene Webmathematik

OpenWebMath ist ein Datensatz, der hochwertige mathematische Texte aus den meisten Teilen des Internets enthält. Es wird aus mehr als 200 Milliarden HTML-Dateien auf Common Crawl gefiltert und extrahiert, was zu einem Satz von 6,3 Millionen Dokumenten mit insgesamt 14,7 Milliarden Token führt. OpenWebMath ist für das Vortraining konzipiert undFeinabstimmungGroße Sprachmodelle.