基于注意力机制引导的序列到序列模型在对话行为预测中的应用

基于对话内容预测对话行为（Dialog Act, DA）是构建对话智能体的关键环节。准确预测对话行为需要对对话上下文及全局标签依赖关系进行精确建模。本文采用在神经机器翻译（Neural Machine Translation, NMT）领域广泛应用的序列到序列（seq2seq）模型，以提升标签序列依赖性的建模能力。与当前多数基于线性条件随机场（Linear Conditional Random Field, CRF）的方法仅建模局部标签依赖不同，seq2seq模型能够有效捕捉复杂的全局依赖关系。本文提出一种专为对话行为分类设计的seq2seq模型，其核心包括：分层编码器、一种新颖的引导注意力机制，以及在训练和推理阶段均采用束搜索（beam search）策略。相较于现有最先进方法，本模型无需人工设计特征，可实现端到端训练。实验结果表明，该方法在SwDA数据集上取得了85%的准确率，在MRDA数据集上达到了91.6%的先进水平准确率，显著优于现有方法。