16 天前

基于跨域编码器的分层时序卷积网络用于音乐源分离

{Hao Huang, Liang He, Wenzhong Yang, Yadong Chen, Ying Hu}
摘要

近年来,基于时域的方法(即直接建模原始波形的方法)在语音源分离领域展现出巨大潜力。本文提出一种新模型,通过跨域编码器(Cross-domain Encoder, CDE)融合时域特征与复数谱图域特征,并采用分层时序卷积网络(Hierarchic Temporal Convolutional Network, HTCN)实现多音乐源的分离。CDE旨在使网络能够有效编码时域与复数谱图域特征之间的交互信息,而HTCN则具备捕捉长时序依赖关系的能力。此外,我们在HTCN中设计了特征校准单元(Feature Calibration Unit, FCU),并在训练阶段采用多阶段训练策略。消融实验验证了模型中各组件的有效性。我们在MUSDB18数据集上进行了实验,结果表明,所提出的CDE-HTCN模型优于当前最先进的方法。与当前最优方法DEMUCS相比,该模型在平均信噪比改善(SDR)上提升了0.61 dB;尤为显著的是,对于低音(bass)声源的SDR提升幅度达到0.91 dB,表现出显著优势。

基于跨域编码器的分层时序卷积网络用于音乐源分离 | 最新论文 | HyperAI超神经