VQ-Wav2Vec：离散语音表示的自监督学习

我们提出vq-wav2vec，通过类似wav2vec的自监督上下文预测任务，学习音频片段的离散表示。该算法采用Gumbel-Softmax或在线k-means聚类方法对密集表示进行量化。离散化使得可以直接应用自然语言处理（NLP）领域中需要离散输入的算法。实验结果表明，基于BERT的预训练在TIMIT音素分类和WSJ语音识别任务上均取得了新的最优性能。