2 个月前

一种基于潜在信念状态的端到端任务导向对话模型的概率方法,用于半监督学习

Yichi Zhang; Zhijian Ou; Huixin Wang; Junlan Feng
一种基于潜在信念状态的端到端任务导向对话模型的概率方法,用于半监督学习
摘要

结构化信念状态对于面向任务的对话系统中的用户目标跟踪和数据库查询至关重要。然而,训练信念追踪器通常需要对每个用户话语进行昂贵的轮次级注释。本文旨在通过利用未标注的对话数据实现半监督学习,从而减轻在构建端到端对话系统时对信念状态标签的依赖。我们提出了一种概率对话模型,称为潜在信念状态(LAtent BElief State, LABES)模型,其中信念状态被表示为离散的潜在变量,并与系统响应一起在给定用户输入的情况下进行联合建模。这种潜在变量建模使我们能够在原则性的变分学习框架下开发半监督学习方法。此外,我们引入了LABES-S2S,这是一种基于复制增强的序列到序列(Seq2Seq)模型实例化的LABES模型。在有监督实验中,LABES-S2S在三个不同规模的基准数据集上取得了优异的结果。在利用未标注对话数据方面,半监督的LABES-S2S显著优于仅使用有监督数据和半监督基线方法。值得注意的是,在MultiWOZ数据集上,我们可以将注释需求减少50%,而不会影响性能。