掩码自编码器听觉模型

本文研究了一种对基于图像的掩码自编码器（Masked Autoencoders, MAE）的简单扩展，用于从音频频谱图中进行自监督表征学习。沿用MAE中的Transformer编码器-解码器架构，我们的Audio-MAE首先以较高的掩码比例对音频频谱图块进行编码，仅将未被掩码的标记输入编码器层。随后，解码器对编码后的上下文进行重新排序，并利用掩码标记进行填充，以重建原始输入的频谱图。我们发现，在解码器中引入局部窗口注意力机制具有显著优势，因为音频频谱图在局部时间与频率区间内具有高度相关性。随后，我们在目标数据集上使用较低的掩码比例对编码器进行微调。实验结果表明，Audio-MAE在六项音频与语音分类任务上取得了新的最先进性能，优于其他依赖外部监督预训练的近期模型。代码与模型将发布于 https://github.com/facebookresearch/AudioMAE。