YourMT3+: 增强型Transformer架构与跨数据集音轨增强的多乐器音乐转录

多乐器音乐转录旨在将复调音乐录音转换为分配给每个乐器的乐谱。这一任务对模型来说具有挑战性，因为它需要同时识别多种乐器并转录其音高和精确时值，而缺乏完全注释的数据则进一步增加了训练难度。本文介绍了YourMT3+，这是一套基于最近的MT3语言标记解码方法的增强型多乐器音乐转录模型。我们通过在时频域中采用分层注意力变换器并整合专家混合来增强其编码器。为了应对数据限制问题，我们引入了一种新的多通道解码方法，用于处理不完整注释的训练，并提出了内部和跨声部增强方法以实现数据集混用。我们的实验展示了直接人声转录的能力，消除了对语音分离预处理器的需求。在十个公开数据集上的基准测试表明，我们的模型在现有转录模型中具有竞争力甚至优于它们。进一步对流行音乐录音的测试突显了当前模型的局限性。可完全复现的代码和数据集可在\url{https://github.com/mimbres/YourMT3}上获取，并附有演示。注：由于原文中的“\url{https://github.com/mimbres/YourMT3}”是一个URL链接，在正式出版物中通常会保留原样或使用脚注形式表示。此处直接保留了URL链接以保持信息完整性。