18 天前

基于Reptile的端到端语音到意图分类性能提升

Yusheng Tian, Philip John Gorinski
基于Reptile的端到端语音到意图分类性能提升
摘要

端到端语音语言理解(Spoken Language Understanding, SLU)系统相较于传统的流水线式系统具有诸多优势,但其训练通常需要大量领域内语音数据,而这类数据的收集成本高且耗时长。由此引出一个关键问题:如何在数据量有限的情况下训练端到端SLU系统?目前,许多研究者尝试利用其他相关数据资源来缓解这一问题,通常通过在高资源语音识别任务上对模型的部分组件进行预训练来实现。本文提出一种非标准的学习算法——Reptile,用于提升SLU模型的泛化能力。尽管Reptile最初是为模型无关的元学习(model-agnostic meta learning)而设计,但我们认为它也可直接用于目标任务的学习,并在泛化性能上优于传统的梯度下降方法。在本研究中,我们将Reptile应用于端到端语音意图分类任务。在四种不同语言和领域的数据集上的实验结果表明,无论单独使用Reptile,还是将其与预训练方法结合使用,均能有效提升意图预测的准确率。