9 天前
BigSSL：探索大规模半监督学习在自动语音识别中的前沿
Yu Zhang, Daniel S. Park, Wei Han, James Qin, Anmol Gulati, Joel Shor, Aren Jansen, Yuanzhong Xu, Yanping Huang, Shibo Wang, Zongwei Zhou, Bo Li, Min Ma, William Chan, Jiahui Yu, Yongqiang Wang, Liangliang Cao, Khe Chai Sim, Bhuvana Ramabhadran, Tara N. Sainath, Françoise Beaufays, Zhifeng Chen, Quoc V. Le, Chung-Cheng Chiu, Ruoming Pang, Yonghui Wu
摘要
我们总结了多项利用大规模自动语音识别（ASR）模型所取得的成果，这些模型在包含约百万小时音频的大型、多样化无标签数据集上进行了预训练。研究发现，预训练、自训练（self-training）与模型规模扩大的结合显著提升了数据效率，即使在拥有数万小时标注数据的超大规模任务中亦然。具体而言，在一项包含34,000小时标注数据的ASR任务中，仅通过微调一个参数量达80亿的预训练Conformer模型，即可在仅使用3%训练数据的情况下达到当前最先进（SoTA）水平的性能；而使用全部训练数据时，还能进一步显著超越现有最先进方法。此外，我们还报告了在涵盖广泛语音领域、数据集规模跨越多个数量级的大量下游任务中，使用大规模预训练与自训练模型所带来的普遍性优势，包括在多个公开基准测试中实现最先进性能。同时，我们还利用预训练网络所学习到的表征，在非ASR任务上也取得了最先进结果。