vONTSS: 최적 운송 기반의 vMF를 활용한 반감독 신경 주제 모델링

최근에 변분 오토인코더를 영감으로 삼아 개발된 신경 주제 모델(Neural Topic Models, NTM)은 많은 연구 관심을 받고 있다. 그러나 인간 지식을 효과적으로 통합하는 데 어려움이 있어 실세계 적용에 한계가 있다. 본 연구는 비-미세-피셔(von Mises-Fisher, vMF) 기반 변분 오토인코더와 최적 운송(optimal transport)을 활용하는 반감독형 신경 주제 모델인 vONTSS를 제안한다. 주제당 몇 개의 키워드가 제공될 경우, vONTSS는 반감독 설정에서 잠재 주제를 생성하고, 주제-키워드의 품질 및 주제 분류 성능을 최적화한다. 실험 결과, vONTSS는 기존 반감독 주제 모델링 방법들에 비해 분류 정확도와 주제 다양성 측면에서 뛰어난 성능을 보였다. 또한 vONTSS는 비감독 주제 모델링도 지원한다. 정량적 및 정성적 실험을 통해, 비감독 설정에서 vONTSS는 최신 NTM들에 비해 다양한 측면에서 우수한 성능을 나타냈다. 특히, 기준 데이터셋에서 높은 군집성과 일관성을 가진 주제를 효과적으로 탐지할 수 있었다. 또한 최첨단 약한 감독 텍스트 분류 방법보다 훨씬 빠른 속도를 보이며, 유사한 분류 성능을 달성했다. 더 나아가, 최적 운송 손실(optimal transport loss)과 교차 엔트로피 손실(cross-entropy loss)이 전역 최소점에서 동치임을 수학적으로 증명하였다.