MusicPile est un ensemble de données de pré-formation musicale et linguistique à grande échelle lancé conjointement par la Multimodal Art Projection Research Community, Skywork AI et l'Université des sciences et technologies de Hong Kong. L'ensemble de données contient 5,17 millions d'échantillons et environ 4,16 milliards de jetons, provenant de sources telles que des corpus en ligne, des encyclopédies, des livres de musique, des sous-titres de musique YouTube, des ouvrages de notation ABC, du contenu mathématique et des codes. L'ensemble de données contient trois champs : id, text et src. Chaque jeton de texte ne dépasse pas 2 048. MusicPile couvre un large éventail de questions et réponses de bon sens musical et de contenu de théorie musicale typique, qui joue un rôle clé dans l'amélioration de la compréhension musicale et de la capacité de création du grand modèle.