초록
주제 모델은 문서의 확률적 생성 모델로서 널리 연구되어 왔습니다. 전통적인 추론 방법은 모델을 업데이트하기 위한 폐형 도출을 목표로 하였으나, 이러한 모델의 표현력이 증가함에 따라 그 매개변수에 대한 빠르고 정확한 추론의 어려움도 함께 증가하였습니다. 본 논문에서는 신경 변분 추론(Neural Variational Inference) 프레임워크에서 역전파를 통해 학습할 수 있는 주제에 대한 매개변수화된 분포를 제공하여, 주제 모델링에 대한 대체적인 신경 접근 방식을 제시합니다. 또한 스틱 브레이킹 구조(stick-breaking construction)를 활용하여, 이론적으로 무한한 수의 주제를 발견할 수 있는 순환 신경망을 제안합니다. 이는 베이지안 비모수적 주제 모델(Bayesian Non-parametric Topic Models)과 유사합니다. MXM 송 가사, 20NewsGroups 및 Reuters 뉴스 데이터셋에 대한 실험 결과는 이러한 신경 주제 모델의 효과성과 효율성을 입증하고 있습니다.