감독형 대비 학습과 자기 교사 학습을 활용한 공동 다중 의도 탐지 및 슬롯 채우기

다중 의도 탐지와 슬롯 채우기는 음성 언어 이해에서 핵심적이고 기초적인 두 가지 과제이다. 두 과제가 밀접하게 관련되어 있다는 점에 착안하여, 각각의 과제를 독립적으로 수행하는 개별 모델보다는 의도를 동시에 탐지하고 슬롯을 추출할 수 있는 공동 모델이 선호된다. 공동 모델의 정확도는 두 과제 간 정보를 효과적으로 전달할 수 있는 능력에 크게 의존하며, 한 과제의 결과가 다른 과제의 결과를 보정할 수 있도록 해야 한다. 또한 공동 모델은 다중 출력을 가지므로, 모델을 효과적으로 학습시키는 것도 중요한 도전 과제이다. 본 논문에서는 이러한 과제들을 해결하기 위한 방법을 제안한다. 먼저, 의도 정보를 활용하여 슬롯을 인식하고, 슬롯 특징을 이용하여 의도를 탐지하는 양방향 공동 모델을 제안한다. 두 번째로, 감독형 대조 학습(supervised contrastive learning)과 자기 정교화(self-distillation)를 활용한 새로운 공동 모델 학습 방법을 도입한다. MixATIS와 MixSNIPS라는 두 가지 벤치마크 데이터셋에서의 실험 결과는 제안한 방법이 두 과제 모두에서 최신 기술을 능가함을 보여준다. 또한, 양방향 설계와 학습 방법이 정확도 향상에 기여함을 입증하였다. 본 연구의 소스 코드는 https://github.com/anhtunguyen98/BiSLU 에서 공개되어 있다.