基于排列不变语言模型的交响乐生成

在本研究中，我们提出了一种排列不变的语言模型——SymphonyNet，以解决符号化交响乐生成的问题。为此，我们设计了一种新颖的多轨多乐器可重复表示法（Multi-track Multi-instrument Repeatable, MMR），用于表征交响乐音乐，并采用基于Transformer的自回归语言模型对音乐序列进行建模，同时引入特定的三维位置编码机制。为应对建模超长交响乐符号序列时可能出现的长度溢出问题，我们进一步提出了一种改进的字节对编码算法（Music BPE）用于音乐符号的表示，并引入一种新型的线性Transformer解码器架构作为模型核心。与此同时，我们通过在输入中屏蔽乐器信息，将自动配器（automatic orchestration）作为联合训练任务，使解码器能够学习自动配器能力。此外，我们构建了一个大规模符号化交响乐数据集，以推动交响乐生成研究的发展。实验结果表明，所提出的模型能够生成连贯、新颖、复杂且和声协调的交响乐作品，为多轨多乐器符号化音乐生成提供了一种开创性的解决方案。