一句话总结

Qwen团队提出Qwen-Music，一个音乐生成模型，集成了25 Hz单码本tokenizer、经Melody‑CoT增强的自回归LLM和生成式立体声渲染器，使用超过500万小时的多语言数据，通过质量感知预训练和渐进式后训练，在16项客观指标中的13项上取得最先进结果，并在文本到音乐和翻唱歌曲生成中超越Suno V5.5、Suno V5和MiniMax Cover等商业系统，同时更准确地保留参考旋律。

核心贡献

• Qwen-Music 是一个统一的音乐生成系统，结合了紧凑的25 Hz单码本音乐语义Tokenizer、一个带有旋律感知思维链（Melody‑CoT）机制的自回归LLM，以及一个生成式立体声渲染器，可同时实现文本到音乐和翻唱歌曲生成。
• 训练流程使用超过500万小时的多语言音乐数据，通过质量分级课程进行预训练，然后应用渐进式后训练阶段，包括监督初始化、离线DPO和在线GSPO，以提升音乐性、可控性和指令遵循能力。
• 广泛评估显示，Qwen-Music在16项文本到音乐客观指标中的13项上取得最先进结果，在专业人类偏好测试中胜过领先的专有系统（例如，与MiniMax Music 2.5+相比胜率达59.1%），并且在翻唱歌曲生成中，比Suno V5.5、Suno V5和MiniMax Cover更准确地保留参考旋律。

引言

作者致力于解决生成音乐连贯、歌词清晰且声学逼真的完整歌曲这一挑战，该任务需要在长时间跨度上联合建模歌词、旋律、人声表现和乐器。先前的工作难以处理高层语义规划与低层波形渲染之间的不匹配：离散token语言模型能处理长程作曲，但会丢失精细的声学细节，而翻唱生成则额外增加了在新风格条件下保留参考旋律的约束。作者的主要贡献是Qwen-Music，一个将歌曲生成解耦为语义作曲阶段和生成式声学渲染阶段的统一系统。它将音乐压缩为紧凑的25 Hz单码本token流，使用显式的旋律规划机制和Melody-CoT方法，并采用质量分级训练课程和多阶段偏好对齐，以实现可控的文本到音乐和基于参考旋律的翻唱歌曲生成。

数据集

作者使用来自多种来源的大规模原始音乐轨集合来训练Qwen-Music-Render。训练前，每个文件都经过声学质量流水线，识别并移除低质量音频。该流水线在论文中详细说明，并总结如下。

• 原始收集： 初始数据集包含无损容器中的音乐文件，但许多文件是从MP3转码、单声道重复、削波或通过上采样产生空的高频内容。未给出具体来源列表或总大小；流水线应用于整个原始池。

• 质量过滤流水线： 本底噪声估计： 使用单声道波形的前10%和后10%作为边缘片段。对非重叠窗口应用汉宁窗8192点RFFT，峰值归一化，并取平均。经验本底噪声η̂是前10%频段幅值中位数的20 log₁₀。 截止频率检测： 对五个均匀分布的内部窗口（跳过接近静音的区域）进行类似处理。截止频率f_c是平均幅度保持在相对于峰值-80 dB以上的最高FFT频段。 下降测量： 围绕f_c在±2 kHz范围内测量局部能量下降Δ_dB。如果f_c以上没有可靠内容，则用η̂替代截止点后的最大值。 标签： 当f_c/f_Nyquist < 0.85且Δ_dB ≥ 40 dB（或在接近η̂时≥ 25 dB），文件标记为hard_cutoff；当比率< 0.90且Δ_dB ≥ 20 dB时，标记为suspicious；其余为natural。

• 训练使用： 仅保留通过质量检查（即标记为natural）的文件用于训练Qwen-Music-Render模型。该过滤确保渲染器从真正的高保真音乐中学习，避免有损转码、上采样或削波带来的伪影。论文未提及对该子集进行进一步的裁剪、元数据构建或混合比例。

方法

作者利用一个推理流水线，将用户请求转换为完整的高保真立体声歌曲。给定自然语言描述，系统首先将其重写为包含音乐标签和生成歌词的结构化文本条件。在此重写文本的条件下，Qwen-Music-LLM自回归地预测音乐语义token，可选地通过Melody-CoT条件化整合参考旋律token以用于翻唱歌曲生成。然后，Qwen-Music-Render以重写文本条件和生成的音乐语义token作为输入，进行生成式渲染，产生高保真48 kHz立体声波形。

如下图所示：

该流水线由三个核心组件支持：Qwen-Music-Tokenizer、Qwen-Music-LLM和Qwen-Music-Render。

Qwen-Music-Tokenizer是一个低码率离散tokenizer，将原始音乐波形映射为单个25 Hz音乐语义token流。它使用一个由卷积前端和Conformer编码器组成的单一骨干网络。作者分四个阶段训练该骨干网络：使用BestRQ进行双向自监督预训练、预训练编码器的因果适配、带有歌词和频谱目标的多任务监督微调，以及VQ tokenizer训练。

如下图所示：

在第一阶段，编码器通过掩码预测目标进行双向训练。损失定义为： $\mathcal{L}_{\mathrm{BestRQ}} = \frac{1}{|\mathcal{M}|} \sum_{t \in \mathcal{M}} \mathrm{CE}(p(h_t), q(x_t))$LBestRQ​=∣M∣1​∑t∈M​CE(p(ht​),q(xt​)) 其中$\mathcal{M}$M是掩码帧集合，$h_t$ht​是帧$t$t的编码器输出，$q(\cdot)$q(⋅)是冻结的随机投影量化器，$p(\cdot)$p(⋅)是预测头。在第三阶段，使用组合目标进行多任务监督： $\mathcal{L}_{\mathrm{SFT}} = \lambda_{\mathrm{ctc}} \mathcal{L}_{\mathrm{CTC}} + \lambda_{\mathrm{mel}} \mathcal{L}_{\mathrm{spec}}^{\mathrm{mel}} + \lambda_{\mathrm{chr}} \mathcal{L}_{\mathrm{spec}}^{\text{chroma}}$LSFT​=λctc​LCTC​+λmel​Lspecmel​+λchr​Lspecchroma​ 最后阶段插入一个包含32768个条目的单一VQ码本，使用余弦度量，通过直通估计器和承诺损失进行训练。

Qwen-Music-LLM采用自回归骨干网络，初始化自Qwen3.5-Omni的一个3B稠密变体。为解决文本提示通常仅在高层次指定风格和歌词的文本到音乐生成挑战，作者引入了Melody-CoT，一种基于旋律token的思维链，用于显式旋律规划。在生成完整混合音乐语义token之前，模型被训练生成一个描述粗粒度人声旋律轮廓的中间旋律token序列。

旋律Tokenizer将参考人声音高曲线转换为紧凑的离散旋律token序列。音高曲线通过因子8的降采样及中值池化： $\tilde{\mathbf{f}} = \text{MedianPool}_8(\mathbf{f})$f~=MedianPool8​(f) 为防止旋律条件泄露绝对音高范围或歌手相关的音色信息，作者采用相对MIDI表示。旋律token $z_i$zi​计算如下： $\bar{m} = \text{median}\{\text{round}(\text{hz2midi}(\tilde{f}_i)) \mid \tilde{f}_i > 0\}$mˉ=median{round(hz2midi(f~​i​))∣f~​i​>0} $z_i = \begin{cases} \operatorname{clip}(\text{round}(\mathrm{hz2midi}(\tilde{f}_i)) - \bar{m}, -127, 127) + 127, & \tilde{f}_i > 0, \\ 255, & \tilde{f}_i = 0, \end{cases}$zi​={clip(round(hz2midi(f~​i​))−mˉ,−127,127)+127,255,​f~​i​>0,f~​i​=0,​

Qwen-Music-Render是一个三阶段神经渲染器，将离散输出转换为高保真波形。第一阶段是扩散Transformer，通过条件流匹配产生连续潜在表示。第二阶段是Spec-VAE，其Spec Decoder将潜在序列逆变换回粗糙的复数STFT。第三阶段是Band-Mode Refiner，预测频率自适应的幅度和相位残差。

为提升重建质量，作者引入了Spec-SnakeBeta，它是SnakeBeta激活的频率感知扩展。原始的SnakeBeta使用通道可学习参数，而Spec-SnakeBeta沿频率轴参数化$\alpha$α和$\beta$β： $\text{Spec-SnakeBeta}(\mathbf{x})_{b,c,t,f} = x_{b,c,t,f} + \frac{1}{\exp(\beta_f) + \epsilon} \sin^2(x_{b,c,t,f} \cdot \exp(\alpha_f))$Spec-SnakeBeta(x)b,c,t,f​=xb,c,t,f​+exp(βf​)+ϵ1​sin2(xb,c,t,f​⋅exp(αf​)) 参数$\alpha_f$αf​使用对数频率先验初始化： $\alpha_f = \log\left(\frac{\mathrm{freq}_f}{\bar{f}} + \epsilon\right), \quad \bar{f} = \frac{1}{F} \sum_f \mathrm{freq}_f$αf​=log(fˉ​freqf​​+ϵ),fˉ​=F1​∑f​freqf​

如下图所示：

这种频率依赖的参数化提供了Spec-VAE解码器所用的激活先验。

作者仅在声学证据与真正高保真音乐目标匹配的文件上训练Qwen-Music-Render。他们使用自动化流水线过滤掉有损转码或上采样文件。其核心思想是从轨道边缘估计本底噪声，并从内部片段检测频谱截止。经验本底噪声估计为： $\hat{\eta} = 20 \log_{10}(\text{median}(\bar{\mathbf{M}}_{\text{edge}}[\text{top } 10\% \text{ bins}]))$η^​=20log10​(median(Mˉedge​[top 10% bins])) 围绕截止频率$f_c$fc​在$\pm 2$±2 kHz频带内的局部能量下降测量为： $\Delta_{\mathrm{dB}} = \max \bar{\mathbf{M}}_{\mathrm{int}}[f_c - 2\mathrm{kHz}: f_c] - \max \bar{\mathbf{M}}_{\mathrm{int}}[f_c: f_c + 2\mathrm{kHz}]$ΔdB​=maxMˉint​[fc​−2kHz:fc​]−maxMˉint​[fc​:fc​+2kHz]

如下图所示：

检测器根据截止比率和下降幅度将文件标记为hard cutoff或suspicious，确保仅使用高质量数据进行渲染器训练。

作者为骨干LLM采用质量分级预训练课程。他们将语料库组织为质量等级，并逐步推进。第一阶段在低质量数据上训练，以学习从文本条件到音乐语义token的通用映射。第二阶段在中等质量数据上训练，使用学习率衰减策略进行质量巩固。第三阶段专注于高质量数据进行精炼，提升音乐性、可控性和指令遵循能力。

预训练后，作者通过多阶段后训练流水线进一步将Qwen-Music-LLM与人类音乐偏好对齐。第一阶段在精选的高质量数据上进行监督微调，建立干净的生成先验。第二阶段使用直接偏好优化(DPO)进行迭代离线对齐，逐步提升音乐性和可控性。第三阶段应用在策略的组序列策略优化（GSPO），以进行细粒度的音乐性和音频质量改进。

实验

评估设置涵盖文本到音乐和翻唱歌曲生成，通过盲测A/B人类偏好测试、客观指标和按流派的Bradley-Terry分析进行评估，Qwen-Music在多种音乐风格中超越或匹敌领先的商业系统如Suno V5.5。这验证了模型在音乐性、可控性、歌词清晰度和旋律保留方面的出色平衡，同时渲染消融实验证实，重写文本条件结合文本丢弃分类器自由引导和Band-Mode Refiner改善了音频保真度和立体声重建。总体而言，Qwen-Music将稳健的生成质量与高保真渲染相结合，在广泛的任务和流派中展现出有竞争力的表现。

在Artificial Analysis Music with Vocals Leaderboard上，Qwen-Music（以JazzCat参赛）排名第三，仅落后于Suno V5.5和Mureka V8。尽管评估样本较少，它仍超越了Suno V5和多个MiniMax模型等强劲对手。JazzCat的Elo分数略低于Mureka V8和Suno V5.5，排名第三，超过了Suno V5和MiniMax Music 2.5+及2.6，跻身顶级英语人声生成系统之列。

四阶段方案逐步构建离散音乐tokenizer：首先在30秒片段上通过双向掩码预测学习连续表示，然后适应因果注意力，接着在全长歌曲上进行多任务监督微调，最后训练向量量化瓶颈。所有阶段使用相同的0.6B参数Conformer骨干网络，并从前一个检查点初始化，除了第一阶段随机初始化。训练从双向BestRQ预训练推进到因果适配，再到监督歌词和频谱微调，最后到VQ tokenizer训练。音频长度从前两个阶段的30秒片段增加到后两个阶段最长达300秒的全长歌曲。骨干网络是24层Conformer，宽度1024，16个注意力头，潜在速率25 Hz，所有阶段共享。

训练配置在三个阶段演变：仅重建预训练、使用波形判别器的对抗微调，以及使用冻结编码器-解码器并采用独立波形和频谱判别器的细化器训练。优化器选择从早期阶段生成器使用Muon转变为细化器使用AdamW，生成器学习率增加，而批次大小降至1。判别器学习率较低，只有频谱判别器获得预热期。第三阶段冻结编码器-解码器，只训练细化器，将生成器优化器切换为AdamW，并使用独立的波形和频谱域判别器。波形判别器学习率设为10^-6，比生成器的1.5×10^-4低两个数量级，而频谱判别器使用10^-5并包含15k步预热。生成器学习率从阶段1的10^-4提高到阶段2和3的1.5×10^-4，GPU批次大小在后期阶段从4降至1。

自动化质量门检查音乐文件的编码器元数据、比特率充足性、响度合规性、真实立体声分离和真实高频内容。频率截止模块独立于内部片段的频谱截止，从轨道边缘估计本底噪声，可靠地检测上采样或有损转码文件。只有通过所有规则引擎检查的轨道才被允许用于渲染器训练。元数据和编码器检查会标记带有转换工具签名（如lavf、lavc、ffmpeg或lame，或显式转码/转换标签）的文件。比特率质量通过多个标准评估，包括单调呈现时间戳、实际与标称比特率比率、复杂片段平均比特率以及变异系数，并给出从HiRes到Trash的分级质量标签。响度被限制在广播标准范围内：集成响度在-25到-5 LUFS之间，真实峰值在-1到+2 dBFS之间，响度范围3-15 LU，峰值与响度比至少6 LU。当左右声道零绝对差异的比例超过0.99时，拒绝伪立体声重复。频率截止检测使用波形前10%和后10%的本底噪声估计以避免静音边缘偏差，然后要求在截止频率附近至少有40 dB的硬能量间隙，可疑情况标记为20 dB，并要求至少一个有效的内部片段，其截止频率相对于Nyquist的比率高于0.5。

在七个流派中，Qwen-Music在四个流派（电子/EDM、爵士与蓝调、朋克与硬核、R&B/灵魂）中获得了最高的Bradley-Terry评分，表明听众在多种风格中强烈偏好。它与Suno V5.5保持竞争力，在五个流派中排名第一或第二，而Mureka V8在金属与硬摇滚中领先，Suno V5.5在嘻哈/说唱中领先。这些流派内对比显示，Qwen-Music受到广泛偏好，但并非普遍主导。Qwen-Music在电子/EDM、爵士与蓝调、朋克与硬核和R&B/灵魂中获评最佳。在嘻哈/说唱中，Suno V5.5领先，在金属与硬摇滚中，Mureka V8领先，而Qwen-Music仍具竞争力（在流行和嘻哈/说唱中排名第二）。

Qwen-Music被评估为顶级英语人声生成系统，尽管评估样本较少，在Artificial Analysis排行榜上排名第三。该模型的tokenizer通过四阶段方案在Conformer骨干上逐步从双向预训练过渡到向量量化，而渲染器训练则通过重建、对抗和细化器阶段推进，并精心调整优化器和判别器。严格的自动化质量门通过剔除存在元数据问题、低比特率、单声道重复或缺失高频的轨道，过滤训练数据，确保仅使用真正的高保真立体声文件。在七个流派中，听众偏好测试显示Qwen-Music在四个流派中获得最高评分，总体保持竞争力，尽管并非通用主导。