**ChineseWebText ist der neueste und größte chinesische Datensatz und enthält 1,42 TB Daten.**Jedem Text wird ein Qualitätsfaktor zugewiesen, wodurch es für Forscher großer Sprachmodelle einfacher wird, Daten anhand neuer Qualitätsschwellenwerte auszuwählen. Hier wird auch eine sauberere Teilmenge mit 600 GB chinesischem Text in besserer Qualität als 90% veröffentlicht. Dieses Verzeichnis enthält den ChineseWebText-Datensatz und die EvalWeb-Toolchain zur Verarbeitung von CommonCrawl-Daten.

Zitat

@misc{chen2023chinesewebtext, title={ChineseWebText: Extraktion hochwertiger chinesischer Webtexte im großen Maßstab mit einem effektiven Bewertungsmodell}, Autor={Jianghao Chen und Pu Jian und Tengxiao Xi und Dongyi Yi und Qianlong Du und Chenglin Ding und Guibo Zhu und Chengqing Zong und Jinqiao Wang und Jiajun Zhang}, Jahr={2023}, eprint={2311.01149}, archivePrefix={arXiv}, primaryClass={cs.CL} }