2달 전

제약 조건을 적용한 클러스터 정제를 통한 새로운 의도 발굴

Ting-En Lin; Hua Xu; Hanlei Zhang
제약 조건을 적용한 클러스터 정제를 통한 새로운 의도 발굴
초록

새로운 사용자 의도를 식별하는 것은 대화 시스템에서 필수적인 작업입니다. 그러나 의도의 정의가 사전 지식에 크게 영향을 받기 때문에 만족스러운 클러스터링 결과를 얻는 것이 어렵습니다. 기존 방법들은 집중적인 특성 공학을 통해 사전 지식을 통합하지만, 이는 과적합을 초래하고 클러스터 수에 대해 민감하게 반응합니다. 본 논문에서는 쌍별 제약 조건을 사전 지식으로 자연스럽게 통합하여 클러스터링 과정을 안내하는 end-to-end 클러스터링 방법인 제약 조건이 적용된 깊은 적응 클러스터링 및 클러스터 개선(CDAC+)를 제안합니다. 또한, 고신뢰도 할당으로부터 모델이 학습하도록 강제함으로써 클러스터를 개선합니다. 저신뢰도 할당을 제거한 후, 우리의 접근 방식은 놀랍게도 클러스터 수에 대해 매우 민감하지 않습니다. 세 가지 벤치마크 데이터셋에서 수행한 실험 결과는 우리의 방법이 강력한 기준 모델들보다 유의미한 향상을 보일 수 있음을 보여줍니다.