영역 외 의도 탐지 및 의도 발견을 위한 하이브리드 아키텍처

의도 인식은 작업 지향 대화 시스템에서 자연어 이해(NLU) 단위의 주요 작업 중 하나입니다. 범위 외(OOS) 및 영역 외(OOD) 입력은 이러한 시스템에 문제를 일으킬 수 있습니다. 한편, 작업 지향 대화 시스템에서 의도 인식을 위한 모델을 학습시키려면 라벨이 부착된 데이터셋이 필요합니다. 라벨이 부착된 데이터셋을 생성하는 것은 시간이 많이 소요되며 인적 자원이 필요합니다. 본 논문의 목적은 이러한 문제들을 다루는 것입니다.범위 외/영역 외 입력을 식별하는 작업은 OOD/OOS 의도 인식이라고 명명됩니다. 또한, 새로운 의도를 발견하고 OOD 입력에 대한 의사 라벨링은 의도 발견으로 잘 알려져 있습니다. OOD 의도 인식 부분에서는 변분 오토인코더(Variational Autoencoder)를 사용하여 입력 데이터 분포와 독립적으로 알려진 의도와 알려지지 않은 의도를 구분합니다. 그 다음, 비지도 클러스터링 방법을 사용하여 OOD/OOS 입력에 내재된 다양한 알려지지 않은 의도를 발견합니다. 또한, OOD/OOS 표현 간의 거리가 클러스터링에 더 의미 있게 되도록 비선형 차원 축소(non-linear dimensionality reduction)를 적용합니다.본 연구 결과는 제안된 모델이 영어와 페르시아어에서 OOD/OOS 의도 인식과 의도 발견 모두에서 우수한 성능을 보이고 기준치(baselines)를 초과함을 보여줍니다.