مجموعة بيانات Sutra 10B Pretraining هي مجموعة بيانات تعليمية عالية الجودة لتدريب نماذج اللغة الكبيرة مسبقًا. يتم إنشاؤها بواسطة إطار عمل Sutra، حيث توفر محتوى تعليميًا منظمًا وتُحسّن عملية تدريب نماذج اللغة. تُعد هذه المجموعة الأكبر في سلسلة Sutra، وهي مصممة لتوضيح كيف يمكن لمجموعات البيانات الكثيفة والمُنسقة جيدًا أن تُوفر أداءً مثاليًا لتدريب نماذج اللغة الصغيرة مسبقًا. تحتوي هذه المجموعة من البيانات على 10,193,029 سجلاً تعليمياً، بإجمالي يزيد عن 10 مليارات كلمة، تغطي تسعة مجالات رئيسية: التخصصات المتداخلة، والتكنولوجيا، والعلوم، والدراسات الاجتماعية، والرياضيات، ومهارات الحياة، والفنون والإبداع، وفنون اللغة، والفلسفة والأخلاق. وتتبع البيانات نموذجاً تعليمياً راسخاً، مع 10 مستويات صعوبة من الأساسي إلى المتقدم، مما يدل على تسلسل هرمي جيد وتنظيم منهجي.