17 天前
LIDSNet:一种基于深度孪生网络的轻量级本地化意图检测模型
Vibhav Agarwal, Sudeep Deepak Shivnikar, Sourav Ghosh, Himanshu Arora, Yashwant Saini

摘要
意图识别是任何自然语言理解(Natural Language Understanding, NLU)系统中的关键任务,也是面向任务对话系统的基础。为了在边缘设备上构建高质量的现实应用场景对话解决方案,亟需将意图识别模型部署至设备端。这要求模型具备轻量化、高效且高精度的特点,能够在资源受限的环境中稳定运行。为此,我们提出了一种新型轻量级设备端意图识别模型——LIDSNet。该模型通过引入深度孪生网络(Deep Siamese Network)学习更优的句子表示,从而实现对用户输入意图的精准预测。同时,我们利用字符级特征增强句子级表示,并通过实证研究验证了使用预训练嵌入进行迁移学习所带来的性能优势。为进一步评估所提架构中各模块的有效性,我们开展了消融实验,最终确定了最优模型结构。实验结果表明,LIDSNet在SNIPS和ATIS两个公开数据集上分别取得了98.00%和95.97%的先进水平准确率,且模型参数量低于0.59M。此外,我们将LIDSNet与微调后的BERT系列模型进行对比,在三星Galaxy S20设备上的推理性能测试显示,我们的模型在参数量上至少比MobileBERT轻41倍,推理速度提升达30倍,充分验证了其在资源受限边缘设备上的高效性与实用性。