基于Conformer的自监督学习在非语音音频任务中的应用

从无标签数据中进行表示学习一直是人工智能研究中的重要课题。尽管自监督语音表示学习在语音研究领域已广受关注，但针对非语音音频任务的音频表示学习，目前仍缺乏系统性的研究与分析。本文提出一种自监督音频表示学习方法，并将其应用于多种下游非语音音频任务。我们结合在自监督语音任务中表现优异的著名wav2vec 2.0框架，与参数高效（parameter-efficient）的Conformer架构，构建了一种新型学习范式。该自监督预训练方法可将对标注数据的需求减少三分之二。在AudioSet基准测试中，我们取得了0.415的平均精度均值（mAP）成绩，这是仅通过音频输入实现的自监督学习在该数据集上的最新最优表现。此外，经过微调后的Conformer模型在多个下游任务上的性能超越或达到此前在有监督方式下预训练系统的水平。本文还深入探讨了预训练与微调阶段的关键设计考量。