语音-语言预训练用于端到端口语理解

端到端（End-to-end, E2E）语音语言理解（Spoken Language Understanding, SLU）能够直接从语音信号中推断语义，无需像传统方法那样将自动语音识别（Automatic Speech Recognition, ASR）模块与自然语言理解（Natural Language Understanding, NLU）模块级联使用。然而，在实际生产环境中，往往难以获取足够多的语音语句与其对应语义的配对数据，这限制了E2E SLU模型的训练效果。本文提出一种新方法，将经过充分优化的E2E ASR编码器（用于处理语音）与预训练语言模型编码器（用于处理语言）统一整合至一个Transformer解码器中，构建统一的语音-语言预训练模型（Speech-Language Pre-trained model, SLP）。该模型通过在目标领域有限标注数据上持续优化，采用条件掩码语言模型（Conditional Masked Language Model, MLM）目标函数进行训练，从而在推理阶段能够高效生成针对给定输入语音的意图（intent）、槽位类型（slot type）和槽位值（slot value）序列。在两个公开语料库上的实验结果表明，所提出的E2E SLU方法显著优于传统的级联式方法，并且在使用远少于现有最先进方法所需配对数据的情况下，仍能取得更优的性能表现。