**SkyPile-150B ist ein umfassender chinesischer Datensatz im großen Maßstab, der speziell für das Vortraining großer Sprachmodelle entwickelt wurde.**Die Quellen sind eine große Zahl öffentlich zugänglicher chinesischer Internet-Webseiten. Die Qualität des Datensatzes wird durch strenge Filterung, umfassende Deduplizierung und sorgfältige Filterung sensibler Daten sichergestellt. Darüber hinaus verwendeten die Forscher auch fortschrittliche Tools wie FastText und BERT, um Daten von geringer Qualität herauszufiltern. Der öffentliche Teil des SkyPile-150B-Datensatzes enthält ungefähr 233 Millionen Webseiten, von denen jede durchschnittlich mehr als 1.000 chinesische Schriftzeichen enthält. Der Datensatz enthält insgesamt etwa 150 Milliarden Token und 620 GB an Klartextdaten.

Zitat

@misc{wei2023skywork, Titel={Skywork: Ein offeneres zweisprachiges Stiftungsmodell}, Autor={Tianwen Wei und Liang Zhao und Lichang Zhang und Bo Zhu und Lijie Wang und Haihua Yang und Biye Li und Cheng Cheng und Weiwei Lü und Rui Hu und Chenxia Li und Liu Yang und Xilin Luo und Xuejie Wu und Lunan Liu und Wenjun Cheng und Peng Cheng und Jianhao Zhang und Xiaoyu Zhang und Lei Lin und Xiaokun Wang und Yutuan Ma und Chuanhai Dong und Yanqi Sun und Yifu Chen und Yongyi Peng und Xiaojuan Liang und Shuicheng Yan und Han Fang und Yahui Zhou} Jahr={2023}, eprint={2310.19341}, archivePrefix={arXiv}, primaryClass={cs.CL} }