基于联合表示学习与数据增强的WideResNet用于Cover Song Identification

伴奏翻唱识别（Cover Song Identification, CSI）一直是音乐信息检索（Music Information Retrieval, MIR）领域中一项具有挑战性的课题。近年来，基于深度学习的方法在CSI问题上得到了广泛研究。本文提出了一种基于多任务学习启发的联合表示学习框架，用于解决CSI问题。具体而言，我们设计了一种联合学习策略，将分类任务与度量学习相结合，以优化基于WideResNet的翻唱识别模型，该模型称为LyraC-Net。其中，分类目标旨在学习不同类别间的可分离嵌入表示，而度量学习则通过减小类间距离、增强类内可分性来优化嵌入的相似性。这种联合优化策略有望获得比单一目标训练方法更具鲁棒性的翻唱表示能力。在度量学习部分，引入原型网络（prototypical network）以稳定并加速训练过程，同时结合三元组损失（triplet loss）进一步提升性能。此外，我们还采用了SpecAugment这一在语音识别领域广泛应用的数据增强方法，以进一步提升模型的泛化能力。实验结果表明，所提出的方法在多个评估指标上均取得了优异表现，显著优于当前其他先进的CSI方法。