Sutra 10B Pretrainingは、大規模言語モデルの事前学習のための高品質な教育用データセットです。Sutraフレームワークによって生成され、構造化された教育コンテンツを作成し、言語モデルの事前学習を最適化します。これはSutraシリーズの中で最大のデータセットであり、高密度で適切にキュレーションされたデータセットが、小規模言語モデルの事前学習においていかに最適なパフォーマンスを発揮できるかを示すために設計されています。 このデータセットには、10,193,029件の教育記録が含まれており、総トークン数は100億を超え、学際分野、テクノロジー、科学、社会科、数学、生活技能、芸術と創造性、言語芸術、哲学と倫理の9つの主要分野を網羅しています。データは確立された教育パラダイムに従っており、基礎から応用まで10段階の難易度で、優れた階層構造と体系的な組織化が示されています。