LIDSNet: 딥 시엠네이즈 네트워크를 활용한 경량 온디바이스 의도 탐지 모델

의도 탐지(intent detection)는 자연어 이해(Natural Language Understanding, NLU) 시스템에서 핵심적인 과제이며, 임무 지향 대화 시스템의 기반을 형성한다. 엣지 장치에서 실용적인 대화형 솔루션을 구축하기 위해서는 의도 탐지 모델을 장치 내부에 배포할 필요가 있다. 이는 자원 제약 환경에서도 효율적으로 작동할 수 있는 경량화, 빠르고 정확한 모델을 요구한다. 이러한 목적을 달성하기 위해 우리는 심층 시아모이스 네트워크(Deep Siamese Network)를 활용하여 더 나은 문장 표현을 학습함으로써 메시지의 의도를 정확하게 예측하는 새로운 경량형 장치 내부 의도 탐지 모델인 LIDSNet을 제안한다. 또한 문장 수준의 표현을 풍부하게 하기 위해 문자 수준의 특징을 사용하고, 사전 훈련된 임베딩을 활용한 전이 학습(transfer learning)의 실증적 이점을 입증한다. 더불어 제안한 아키텍처 내 모듈들의 효과를 검증하기 위해 제거 실험(ablation study)를 수행하여 최적의 모델을 도출하였다. 실험 결과, LIDSNet은 SNIPS 및 ATIS 공개 데이터셋에서 각각 98.00%, 95.97%의 최신 기술 수준(SOTA) 경쟁력 있는 정확도를 달성하였으며, 파라미터 수는 0.59M 미만이다. 또한 미세 조정된 BERT 모델들과의 비교를 통해, Samsung Galaxy S20 장치에서 LIDSNet이 MobileBERT보다 최소 41배 가볍고 추론 속도는 최소 30배 빠르며, 자원 제약이 심한 엣지 장치에서의 효율성을 입증하였다.