SkyPile-150B は、大規模な言語モデルの事前トレーニング用に特別に設計された包括的な大規模な中国語データセットです。これは、公的にアクセス可能な多数の中国のインターネット ページに由来しています。データセットは、品質を確保するために、厳密なフィルタリング、広範な重複排除、および機密データの徹底的なフィルタリングを受けます。さらに、研究者は、fastText や BERT などの高度なツールを使用して、低品質のデータを除外します。

SkyPile-150B データセットの公開部分には約 2 億 3,300 万の Web ページが含まれており、各 Web ページには平均 1,000 文字以上の漢字が含まれています。合計で、データセットには約 1,500 億のトークンと 620 GB のプレーン テキスト データが含まれています。