MusicPile は、マルチモーダル アート プロジェクション 研究コミュニティ、Skywork AI、香港科技大学が共同で立ち上げた大規模な音楽言語の事前トレーニング データセットです。データセットには、517 万のサンプルと約 41 億 6,000 万のトークンが含まれています。ソースには、インターネット コーパス、百科事典、音楽書籍、YouTube の音楽字幕、ABC 記譜法、数学的コンテンツおよびコードが含まれます。データ セットには、id、text、src の 3 つのフィールドが含まれており、各テキストのトークンは 2,048 個以下です。 MusicPile は、幅広い音楽知識、知識の質問と回答、典型的な音楽理論の内容をカバーしており、大規模モデルの音楽の理解と作成能力を向上させる上で重要な役割を果たします。