Command Palette

Search for a command to run...

4달 전

사용자 로그를 통한 딥 반감독형 대비 클러스터링을 이용한 의도 탐지 및 탐색

{Gautam Shroff Lovekesh Vig Vaibhav Varshney Mayur Patidar Rajat Kumar}

사용자 로그를 통한 딥 반감독형 대비 클러스터링을 이용한 의도 탐지 및 탐색

초록

의도 탐지(Intent Detection)는 대화 시스템(Dialogue Systems)의 핵심 구성 요소로, 사용자 발화를 미리 정의된 여러 의도 중 하나로 분류하는 것을 목표로 한다. 효과적인 의도 식별 모델을 개발하기 위한 전제 조건은 모든 가능한 사용자 의도에 대해 레이블이 부여된 학습 데이터셋이 존재하는 것이다. 그러나 심지어 전문가라도 설계 시점에 사용자가 가질 수 있는 모든 의도를 예측하기는 어렵고, 실용적인 응용에서는 사용자 발화로부터 새로운 의도를 실시간으로 점진적으로 추론해야 할 수도 있다. 따라서 실제 대화 시스템에서는 시간이 지남에 따라 의도의 수가 증가하게 되며, 기존 의도 집합 외부의 발화를 분석하여 새로운 의도를 탐지해야 한다. 본 논문에서는 두 가지 목표를 설정한다. 첫째, 일부 레이블이 부여된 샘플을 바탕으로 수많은 레이블이 없는 발화 샘플 중에서 기존에 알고 있는 의도를 탐지하는 것이다. 둘째, 남아 있는 레이블이 없는 샘플들로부터 새로운 알 수 없는 의도를 탐지하는 것이다. 기존의 최고 성능(SOTA) 접근법은 대체로 표현 학습과 클러스터링을 번갈아 적용하는 방식으로 이 문제를 해결하며, 의사 레이블(pseudo labels)을 활용해 표현을 업데이트하고, 클러스터링을 통해 의사 레이블을 생성한다. 본 연구에서는 기존 방법들이 에포크 단위의 클러스터 정렬에 의존하는 것과 달리, 감독 학습과 자기지도 학습을 통합하여 모델 파라미터와 클러스터 중심을 동시에 업데이트하는 엔드투엔드(end-to-end) 딥 대비 클러스터링(contrastive clustering) 알고리즘을 제안한다. 이 방법은 레이블이 있는 데이터와 없는 데이터를 최적의 방식으로 활용한다. 제안한 방법은 다섯 개의 공개 데이터셋에서 두 가지 설정 모두에서 경쟁 기법들을 능가하는 성능을 보였다. 첫 번째 설정은 탐지되지 않은 의도의 수가 미리 알려진 경우이고, 두 번째 설정은 알고리즘이 의도 수를 추정하는 경우이다. 또한 실용적 배포를 위한 인간-중재(human-in-the-loop) 버전을 제안하며, 이는 새로운 의도의 수를 추정할 필요 없이 기존 엔드투엔드 접근법보다 우수한 성능을 보인다.

벤치마크

벤치마크방법론지표
open-intent-discovery-on-banking77DSSCC
ACC: 69.82
ARI: 0.5809
NMI: 0.8124
open-intent-discovery-on-clinc150DSSCC
ACC: 87.91
ARI: 0.8109
NMI: 0.9387
open-intent-discovery-on-dbpediaDSSCC
Clustering Accuracy: 92.73
open-intent-discovery-on-snipsDSSCC
ACC: 94.87
ARI: 89.03
NMI: 90.44
open-intent-discovery-on-stackoverflowDSSCC
ACC: 82.65
ARI: 68.67
NMI: 77.08

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
사용자 로그를 통한 딥 반감독형 대비 클러스터링을 이용한 의도 탐지 및 탐색 | 연구 논문 | HyperAI초신경