MusicPile هي مجموعة بيانات واسعة النطاق للتدريب المسبق للغة الموسيقى تم إطلاقها بشكل مشترك من قبل مجتمع أبحاث إسقاط الفن المتعدد الوسائط وSkywork AI وجامعة هونج كونج للعلوم والتكنولوجيا. تحتوي مجموعة البيانات على 5.17 مليون عينة وحوالي 4.16 مليار رمز، من مصادر بما في ذلك مجموعات البيانات عبر الإنترنت، والموسوعات، وكتب الموسيقى، وترجمات الموسيقى على YouTube، وأعمال تدوين ABC، والمحتوى الرياضي والرموز. تحتوي مجموعة البيانات على ثلاثة حقول: المعرف والنص والمصدر. لا يتجاوز عدد رموز النص الواحد 2048. يغطي MusicPile مجموعة واسعة من الحس السليم للموسيقى، وأسئلة المعرفة والأجوبة، ومحتوى النظرية الموسيقية النموذجية، والذي يلعب دورًا رئيسيًا في تحسين فهم الموسيقى والقدرة على إنشاء النموذج الكبير.