11 天前

MISCA:一种基于意图-槽位协同注意力机制的多意图检测与槽位填充联合模型

Thinh Pham, Chi Tran, Dat Quoc Nguyen
MISCA:一种基于意图-槽位协同注意力机制的多意图检测与槽位填充联合模型
摘要

检测多重意图并填充槽位的研究正日益受到关注,这主要源于其在复杂现实场景中的高度相关性。近年来,基于图结构的联合模型虽取得了显著进展,但仍面临两个潜在问题:(i)基于初步意图和槽位信息构建图结构时引入的不确定性,可能导致意图-槽位关联信息被错误地传递至不正确的标签节点,从而影响模型性能;(ii)在每个词元(token)层面直接引入多个意图标签进行意图投票,可能引发槽位预测错误,进而损害整体性能。为解决上述问题,我们提出一种名为MISCA的联合模型。MISCA引入了意图-槽位协同注意力机制以及底层的标签注意力机制。这些机制使模型能够有效捕捉意图与槽位标签之间的关联关系,无需依赖图结构的构建。同时,通过多层次的标签特异性表示,实现了意图与槽位之间双向的信息传递:既可从意图到槽位,也可从槽位到意图,且不依赖于词元级别的意图信息。实验结果表明,MISCA在两个基准数据集MixATIS和MixSNIPS上均取得了新的最先进(SOTA)整体准确率表现,显著优于现有模型。这一结果充分验证了所提出注意力机制的有效性。

MISCA:一种基于意图-槽位协同注意力机制的多意图检测与槽位填充联合模型 | 最新论文 | HyperAI超神经