13 天前

通过联合预测 tokens 和持续时间实现高效的序列转换

Hainan Xu, Fei Jia, Somshubra Majumdar, He Huang, Shinji Watanabe, Boris Ginsburg
通过联合预测 tokens 和持续时间实现高效的序列转换
摘要

本文提出了一种用于序列到序列任务的新型 Token-and-Duration Transducer(TDT)架构。TDT 在传统 RNN-Transducer 架构的基础上进行了扩展,能够联合预测输出的 token 及其持续时间(即该 token 所对应覆盖的输入帧数)。这一能力通过一个具有两个输出的联合网络实现,两个输出分别独立归一化,以生成 token 和持续时间的概率分布。在推理阶段,TDT 模型可根据预测的持续时间输出跳过部分输入帧,从而显著提升推理速度,相较传统 Transducer 逐帧处理编码器输出的方式具有明显优势。在多种序列转换任务中,TDT 模型在保持更高准确率的同时,实现了显著更快的推理速度。在语音识别任务中,TDT 模型相较传统 Transducer 实现了更高的准确率,并将推理速度提升最高达 2.82 倍;在语音翻译任务中,TDT 模型在 MUST-C 测试集上相较传统 Transducer 实现了超过 1 个 BLEU 的绝对性能提升,且推理速度提升达 2.27 倍;在语音意图识别与槽位填充任务中,TDT 模型的意图识别准确率相较传统 Transducer 最高提升超过 1%(绝对值),同时运行速度最快可提升 1.28 倍。我们已将 TDT 模型的实现代码开源,集成于 NeMo 工具包(https://github.com/NVIDIA/NeMo)中。