MIDAS: 다중 전환 NLU를 위한 다중 수준의 의도, 도메인 및 슬롯 지식 증류

대규모 언어 모델(Large Language Models, LLMs)은 일관성 있는 텍스트 생성이 가능하지만, 사용자의 질의 뒤에 숨은 의도를 정확히 인식하는 데 어려움을 겪는다. 반면 자연어 이해(Natural Language Understanding, NLU) 모델은 사용자 입력의 목적과 핵심 정보를 해석하여 적절한 상호작용을 가능하게 한다. 기존의 NLU 모델은 일반적으로 문장 수준의 의도(Sentence-level Intent, SI)와 단어 수준의 슬롯(Word-level Slot, WS) 레이블을 포함하는 이중 수준의 의미 프레임으로 발화를 매핑한다. 그러나 현실 세계의 대화는 주로 다중 턴 대화로 구성되어 있으며, 복잡하고 확장된 상호작용을 해석해야 한다. 연구자들은 통합된 NLU 모델을 통해 다중 턴 대화의 모든 측면을 다루는 데 어려움을 겪고 있다. 본 논문에서는 다중 턴 NLU를 위한 다수준 의도, 도메인, 슬롯 지식 증류(multi-level intent, domain, and slot knowledge distillation)를 활용하는 새로운 접근법인 MIDAS를 제안한다. 우리는 SI 탐지, WS 채우기, 대화 수준의 도메인(Convolution-level Domain, CD) 분류에 각각 전용의 교사 모델을 구축하였으며, 각각 특정 지식에 대해 미세조정되었다. 또한 이러한 교사 모델들을 효과적으로 통합할 수 있도록 다중 교사 손실(multi-teacher loss)을 제안하여, 학생 모델이 다중 턴 대화 작업에서 보다 정교한 이해를 할 수 있도록 유도한다. 실험 결과는 제안한 모델이 다중 턴 대화 이해 능력을 향상시키는 데 효과적임을 입증하며, 다수준 대화 지식 증류를 통한 NLU 기술의 발전 가능성을 보여준다. 본 연구의 구현 코드는 https://github.com/adlnlp/Midas 에서 오픈소스로 공개되어 있다.