ChineseWebText Ensemble De Données De Texte Web Chinois

ChineseWebText est le dernier et le plus grand ensemble de données chinois, contenant 1,42 To de données.À chaque texte est attribué un score de qualité, ce qui permet aux chercheurs de grands modèles linguistiques de sélectionner plus facilement des données en fonction de nouveaux seuils de qualité. Un sous-ensemble plus propre contenant 600 Go de texte chinois de meilleure qualité que 90% est également publié ici. Ce répertoire contient l'ensemble de données ChineseWebText et la chaîne d'outils EvalWeb pour le traitement des données CommonCrawl.