摘要
尽管大型语言模型（LLMs）能够生成连贯的文本，但它们在理解用户查询背后的意图方面往往表现不佳。相比之下，自然语言理解（NLU）模型能够解析用户输入的目的及关键信息，从而实现更具响应性的交互。现有的NLU模型通常将话语映射到双层语义框架，包括句子级意图（SI）和词级槽位（WS）标签。然而，现实中的对话主要由多轮对话构成，需要对复杂且延展的交互过程进行理解。研究人员在利用统一的NLU模型处理多轮对话的所有方面时面临诸多挑战。本文提出了一种名为MIDAS的新方法，该方法通过多层次意图、领域和槽位知识蒸馏，实现对多轮NLU的有效建模。我们构建了三个独立的教师模型，分别用于句子级意图识别、词级槽位填充以及对话级领域（CD）分类，并针对各自特定的知识进行微调。同时，我们设计了一种多教师损失函数，以促进多个教师模型知识的融合，指导学生模型在多轮对话任务中的学习。实验结果表明，所提出的模型在提升多轮对话理解能力方面具有显著效果，展示了通过多层次对话知识蒸馏推动NLU技术发展的巨大潜力。我们的代码已开源，欢迎访问 https://github.com/adlnlp/Midas 获取。