2달 전

트랜스포머를 이용한 짧은 텍스트 클러스터링

Leonid Pugachev; Mikhail Burtsev
트랜스포머를 이용한 짧은 텍스트 클러스터링
초록

최근 짧은 텍스트 클러스터링 작업을 위한 기술들은 전이 학습 구성요소로서 단어 임베딩에 크게 의존하고 있습니다. 본 논문에서는 트랜스포머에서 얻은 문장 벡터 표현과 다양한 클러스터링 방법을 결합하여 이 작업을 성공적으로 수행할 수 있음을 보여줍니다. 또한, 반복적인 분류를 통해 클러스터링을 강화하는 알고리즘이 다양한 분류기, 특히 사전 학습된 트랜스포머 언어 모델 기반의 분류기를 포함하여 초기 클러스터링 성능을 더욱 개선할 수 있음을 입증합니다.