MusicPile은 멀티모달 아트 프로젝션 연구 커뮤니티, Skywork AI, 홍콩과학기술대학교가 공동으로 출시한 대규모 음악-언어 사전 학습 데이터 세트입니다. 이 데이터 세트에는 온라인 코퍼스, 백과사전, 악보, YouTube 음악 자막, ABC 표기법, 수학적 내용 및 코드를 포함한 출처에서 수집한 517만 개의 샘플과 약 41억 6천만 개의 토큰이 포함되어 있습니다. 데이터 세트에는 id, text, src라는 세 개의 필드가 포함되어 있습니다. 각 텍스트 토큰은 2,048을 초과하지 않습니다. MusicPile은 광범위한 음악 상식, 지식 관련 질문과 답변, 전형적인 음악 이론 콘텐츠를 포괄하여 대형 모델의 음악 이해 및 창작 능력을 향상시키는 데 핵심적인 역할을 합니다.