MusicPile ist ein umfangreicher Vortrainingsdatensatz für Musiksprachen, der gemeinsam von der Multimodal Art Projection Research Community, Skywork AI und der Hong Kong University of Science and Technology veröffentlicht wurde. Der Datensatz enthält 5,17 Millionen Beispiele und etwa 4,16 Milliarden Token aus Quellen wie Online-Korpora, Enzyklopädien, Musikbüchern, Musikuntertiteln auf YouTube, ABC-Notationswerken, mathematischen Inhalten und Codes. Der Datensatz enthält drei Felder: ID, Text und Quelle. Jedes Texttoken darf nicht länger als 2.048 sein. MusicPile deckt ein breites Spektrum an allgemeinem musikalischen Verständnis, Wissensfragen und -antworten sowie typischen musiktheoretischen Inhalten ab, die eine Schlüsselrolle bei der Verbesserung des Musikverständnisses und der Fähigkeit zur Musikgestaltung des großen Modells spielen.

Zitat

@misc{yuan2024chatmusician,
title={ChatMusician: Understanding and Generating Music Intrinsically with LLM},
author={Ruibin Yuan and Hanfeng Lin and Yi Wang and Zeyue Tian and Shangda Wu and Tianhao Shen and Ge Zhang and Yuhang Wu and Cong Liu and Ziya Zhou and Ziyang Ma and Liumeng Xue and Ziyu Wang and Qin Liu and Tianyu Zheng and Yizhi Li and Yinghao Ma and Yiming Liang and Xiaowei Chi and Ruibo Liu and Zili Wang and Pengfei Li and Jingcheng Wu and Chenghua Lin and Qifeng Liu and Tao Jiang and Wenhao Huang and Wenhu Chen and Emmanouil Benetos and Jie Fu and Gus Xia and Roger Dannenberg and Wei Xue and Shiyin Kang and Yike Guo},
year={2024},
eprint={2402.16153},
archivePrefix={arXiv},
primaryClass={cs.SD}
}