基于监督对比学习与自蒸馏的联合多意图检测与槽位填充

多意图识别与槽位填充是语音语言理解中的两项基础且关键任务。鉴于这两项任务之间具有紧密关联，相较于独立执行各自任务的单模型，能够同时检测意图并提取槽位的联合模型更受青睐。联合模型的性能在很大程度上取决于其在两项任务之间传递信息的能力，使得一个任务的输出能够修正另一个任务的结果。此外，由于联合模型具有多个输出，如何高效地训练该模型也面临挑战。本文针对上述问题提出了一种多意图识别与槽位填充的方法。首先，我们提出一种双向联合模型，该模型显式地利用意图信息来识别槽位，同时借助槽位特征来辅助意图检测。其次，我们引入一种新颖的训练方法，结合监督对比学习（supervised contrastive learning）与自蒸馏（self-distillation）来优化所提出的联合模型。在两个基准数据集MixATIS和MixSNIPS上的实验结果表明，该方法在两项任务上均优于当前最先进的模型。结果还验证了双向结构设计与所提出训练策略对性能提升的显著贡献。本文的源代码已开源，可访问 https://github.com/anhtunguyen98/BiSLU 获取。