15 天前
通过自监督预训练实现语音分离中的标签分配稳定化
Sung-Feng Huang, Shun-Po Chuang, Da-Rong Liu, Yi-Chen Chen, Gene-Ping Yang, Hung-yi Lee

摘要
语音分离技术已取得显著进展,其中最具成效的方法之一是排列不变训练(Permutation Invariant Training, PIT)。然而,在追求更优收敛速度和更高性能时,PIT训练过程中频繁发生的标签分配切换问题仍是一个亟待解决的挑战。本文提出通过自监督预训练来稳定语音分离模型训练过程中的标签分配。在多种自监督方法、典型语音分离模型以及两个不同数据集上的实验结果表明,若能选择合适的自监督方法,可实现显著的性能提升。