Sutra 10B Pretraining ist ein hochwertiger Trainingsdatensatz für das Vortraining großer Sprachmodelle. Er wurde mit dem Sutra-Framework generiert und erstellt strukturierte Lerninhalte, die das Vortraining von Sprachmodellen optimieren. Als größter Datensatz der Sutra-Reihe demonstriert er, wie dichte, sorgfältig kuratierte Datensätze optimale Vortrainingsergebnisse für kleine Sprachmodelle ermöglichen.

Dieser Datensatz umfasst 10.193.029 Unterrichtseinheiten mit insgesamt über 10 Milliarden Tokens und deckt neun Hauptbereiche ab: interdisziplinär, Technologie, Naturwissenschaften, Sozialkunde, Mathematik, Lebenskompetenzen, Kunst und Kreativität, Sprachkunst sowie Philosophie und Ethik. Die Daten folgen einem etablierten Unterrichtsmodell mit zehn Schwierigkeitsstufen von grundlegend bis fortgeschritten und weisen eine klare Hierarchie und systematische Organisation auf.