**SkyPile-150B는 대규모 언어 모델의 사전 학습을 위해 특별히 설계된 포괄적인 대규모 중국어 데이터 세트입니다.**이는 공개적으로 접근 가능한 수많은 중국 인터넷 웹페이지에서 발췌한 것입니다. 이 데이터 세트는 엄격한 필터링, 광범위한 중복 제거, 철저한 민감 데이터 필터링을 통해 품질이 보장됩니다. 또한 연구자들은 fastText와 BERT와 같은 고급 도구를 사용하여 품질이 낮은 데이터를 걸러냈습니다. SkyPile-150B 데이터 세트의 공개 부분에는 약 2억 3,300만 개의 웹 페이지가 포함되어 있으며, 각 페이지에는 평균 1,000개 이상의 중국어 문자가 포함되어 있습니다. 이 데이터 세트에는 총 약 1,500억 개의 토큰과 620GB의 일반 텍스트 데이터가 포함되어 있습니다.

소환

@misc{wei2023skywork, 제목={스카이워크: 보다 개방적인 이중언어 기반 모델}, 저자={Tianwen Wei, Liang Zhao, Lichang Zhang, Bo Zhu, Lijie Wang, Haihua Yang, Biye Li, Cheng Cheng, Weiwei Lü, Rui Hu, Chenxia Li, Liu Yang, Xilin Luo, Xuejie Wu, Lunan Liu, Wenjun Cheng, Peng Cheng, Jianhao Zhang, Xiaoyu Zhang, Lei Lin, Xiaokun Wang, Yutuan Ma, Chuanhai Dong 및 Yanqi Sun, Yifu Chen, Yongyi Peng, Xiaojuan Liang, Shuicheng Yan, Han Fang, Yahui Zhou} 연도={2023}, eprint={2310.19341}, archivePrefix={arXiv}, primaryClass={cs.CL} }