**SkyPile-150B は、大規模な言語モデルの事前トレーニング用に特別に設計された包括的な大規模な中国語データセットです。**これは、公的にアクセス可能な多数の中国のインターネット ページに由来しています。データセットは、品質を確保するために、厳密なフィルタリング、広範な重複排除、および機密データの徹底的なフィルタリングを受けます。さらに、研究者は、fastText や BERT などの高度なツールを使用して、低品質のデータを除外します。 SkyPile-150B データセットの公開部分には約 2 億 3,300 万の Web ページが含まれており、各 Web ページには平均 1,000 文字以上の漢字が含まれています。合計で、データセットには約 1,500 億のトークンと 620 GB のプレーン テキスト データが含まれています。

引用

@misc{wei2023skywork、 タイトル={Skywork: よりオープンなバイリンガル基盤モデル}、 author={Tianwen Wei、Liang Zhang、Lichang Zhu、Bo Zhu、Lijie Wang、Haihua Yang、Biye Li、Cheng Cheng、Weiwei Luu、Rui Hu、Chenxia Li、Liu Yang、Xilin Luo、Xuejie Wu、Lunan Liu、Wenjun Cheng、Peng Cheng、Jianhao Zhang、Xiaoyu Zhang、Lei Lin、Xiaokun Wang、 Yutuan Ma、Chuanhai Dong、Yanqi Sun、Yifu Chen、Yongyi Peng、Xiaojuan Liang、Shuicheng Yan、Han Fang、Yahui Zhou} 年={2023}、 eprint={2310.19341}、 archivePrefix={arXiv}、 primaryClass={cs.CL} }