**SkyPile-150B est un ensemble complet de données chinoises à grande échelle conçu spécifiquement pour la pré-formation de grands modèles linguistiques.**Il provient d’un grand nombre de pages Web chinoises accessibles au public. La qualité de l'ensemble de données est garantie grâce à un filtrage rigoureux, une déduplication poussée et un filtrage approfondi des données sensibles. En outre, les chercheurs ont également utilisé des outils avancés tels que fastText et BERT pour filtrer les données de mauvaise qualité. La partie publique de l'ensemble de données SkyPile-150B contient environ 233 millions de pages Web, chacune contenant en moyenne plus de 1 000 caractères chinois. L'ensemble de données contient environ 150 milliards de jetons et 620 Go de données en texte brut au total.

Citation

@misc{wei2023skywork, titre={Skywork : un modèle de fondation bilingue plus ouvert}, author={Tianwen Wei et Liang Zhao et Lichang Zhang et Bo Zhu et Lijie Wang et Haihua Yang et Biye Li et Cheng Cheng et Weiwei Lü et Rui Hu et Chenxia Li et Liu Yang et Xilin Luo et Xuejie Wu et Lunan Liu et Wenjun Cheng et Peng Cheng et Jianhao Zhang et Xiaoyu Zhang et Lei Lin et Xiaokun Wang et Yutuan Ma et Chuanhai Dong et Yanqi Sun et Yifu Chen et Yongyi Peng et Xiaojuan Liang et Shuicheng Yan et Han Fang et Yahui Zhou} année={2023}, eprint={2310.19341}, préfixe d'archive={arXiv}, primaryClass={cs.CL} }