面向语音情感识别、说话人验证与口语语言理解的微调Wav2vec 2.0/HuBERT基准测试

以wav2vec 2.0和HuBERT为代表的语音自监督模型在自动语音识别（ASR）任务中取得了革命性进展。然而，这些模型在ASR以外的任务中是否能够持续提升性能，尚未得到充分验证。在本研究中，我们针对三种非ASR语音任务——语音情感识别、说话人验证和口语语言理解，探索了在wav2vec 2.0和HuBERT预训练模型上进行部分微调与全量微调的可行性。通过设计简洁的下游任务框架，实验取得了显著成果：在IEMOCAP数据集上，语音情感识别任务在说话人依赖设置下达到79.58%的加权准确率，在说话人独立设置下达到73.01%的加权准确率；在VoxCeleb1数据集上，说话人验证任务的等错误率（EER）降低至2.36%；在SLURP数据集上，意图分类准确率达到89.38%，槽位填充的F1值达到78.92%。上述结果充分展现了微调后的wav2vec 2.0和HuBERT在学习语音韵律特征、语音指纹以及语义表征方面的强大能力。