2 个月前
Jointist:多乐器转录及其应用的联合学习
Cheuk, Kin Wai ; Choi, Keunwoo ; Kong, Qiuqiang ; Li, Bochen ; Won, Minz ; Hung, Amy ; Wang, Ju-Chiang ; Herremans, Dorien

摘要
本文介绍了一种名为Jointist的多乐器感知框架,该框架能够从音频片段中转录、识别和分离多种乐器。Jointist由乐器识别模块、转录模块和源分离模块组成,其中乐器识别模块为其他两个模块提供条件:转录模块输出特定乐器的钢琴卷(piano rolls),而源分离模块则利用乐器信息和转录结果。乐器条件化设计旨在实现显式的多乐器功能,而转录模块与源分离模块之间的连接则有助于提高转录性能。我们提出的具有挑战性的问题表述使得该模型在现实世界中极具实用性,因为现代流行音乐通常包含多种乐器。然而,其新颖性需要一种新的评估视角来评价此类模型。在实验过程中,我们从多个方面对模型进行了评估,为多乐器转录提供了新的评估视角。此外,我们认为转录模型可以作为其他音乐分析任务的预处理模块。在几项下游任务的实验中,我们的转录模型提供的符号表示对解决拍子检测、和弦识别和调式估计等问题起到了辅助作用。