用于高效语音识别的快速Conformer与线性可扩展注意力机制

基于Conformer的模型已成为语音处理任务中主流的端到端架构。为提升Conformer架构在训练与推理过程中的效率，我们对其进行了精心重构，提出了一种新颖的下采样方案。所提出的模型命名为Fast Conformer（FC），其推理速度相较原始Conformer提升2.8倍，可在不改变核心架构的前提下轻松扩展至十亿级参数规模，同时在自动语音识别（ASR）基准测试中达到了当前最优的准确率。为实现长达11小时的长语音转写，我们在模型训练完成后，将全局注意力机制替换为受限上下文注意力机制，并通过引入全局标记（global token）进行微调，进一步提升了识别准确率。当与Transformer解码器结合使用时，Fast Conformer在语音翻译（Speech Translation）和口语语言理解（Spoken Language Understanding）任务中，不仅在准确率上超越原始Conformer，同时在推理速度方面也表现出显著优势。