SkyPile-150B عبارة عن مجموعة بيانات صينية شاملة واسعة النطاق مصممة خصيصًا للتدريب المسبق للنماذج اللغوية الكبيرة.يتم الحصول عليها من عدد كبير من صفحات الإنترنت الصينية المتاحة للعامة. تم ضمان جودة مجموعة البيانات باستخدام التصفية الدقيقة، وإزالة التكرارات على نطاق واسع، والتصفية الشاملة للبيانات الحساسة. بالإضافة إلى ذلك، استخدم الباحثون أيضًا أدوات متقدمة مثل fastText وBERT لتصفية البيانات ذات الجودة المنخفضة.

يحتوي الجزء العام من مجموعة بيانات SkyPile-150B على ما يقرب من 233 مليون صفحة ويب، تحتوي كل منها على أكثر من 1000 حرف صيني في المتوسط. تحتوي مجموعة البيانات على حوالي 150 مليار رمز و620 جيجابايت من بيانات النص العادي في المجموع.