문서 임베딩과 그 불확실성 학습

대부분의 텍스트 모델링 기법은 문서 임베딩의 점 추정치만을 제공하며, 추정치의 불확실성을 포착하는 데 부족함이 있습니다. 이러한 불확실성은 임베딩이 문서를 얼마나 잘 표현하는지를 나타내는 개념입니다. 본 연구에서는 베이지안 부분공간 다항모델(Bayesian Subspace Multinomial Model, Bayesian SMM)을 제시합니다. 이는 생성 로그-선형 모델로, 가우시안 분포 형태로 문서를 표현하여 공분산에 포함된 불확실성을 인코딩합니다. 또한 제안된 베이지안 SMM에서는 혼합 로짓 모델에서 변분 추론 과정에서 자주 발생하는 비계산 가능성 문제를 해결하였습니다. 우리는 문서 임베딩의 불확실성을 활용한 주제 식별용 생성 가우시안 선형 분류기도 제시합니다. 퍼플렉서티 측정을 사용한 내재적 평가 결과, 제안된 베이지안 SMM은 Fisher 음성 데이터와 20Newsgroups 텍스트 코퍼스에서 최신 신경 변분 문서 모델보다 데이터에 더 잘 맞는 것으로 나타났습니다. 주제 식별 실험 결과, 제안된 시스템은 미확인 테스트 데이터에 대한 과적합에 견고하게 대처할 수 있었습니다. 주제 식별 결과는 제안된 모델이 최신 비지도 학습 주제 모델을 능가하고, 완전히 지도 학습 판별 모델과 유사한 성능을 달성한다는 것을 보여줍니다.