초록
주제 모델은 대규모 텍스트 문서 집합에서 주제 - 가중된 단어와 문서의 목록 - 을 학습할 수 있는 널리 사용되는 비지도 학습 모델입니다. 주제 모델이 텍스트 컬렉션에서 주제를 발견하는 데 사용될 때, 자연스럽게 발생하는 질문은 모델이 유도한 주제가 분석가에게 관심 있는 주제와 얼마나 잘 일치하는지입니다. 본 논문에서는 지금까지 소홀히 다루어진 주제 모델 평가 방법 중 하나인 주제 범위 측정을 재검토하고 확장합니다. 이 방법은 주제 발견에서의 모델 성능 분석과 대규모로 이루어지는 주제 모델 및 모델 품질 측정의 분석에 적합합니다. 우리는 새로운 범위 측정 지표를 제안하고, 일련의 실험을 통해 두 개의 서로 다른 텍스트 영역에서 다양한 종류의 주제 모델을 평가합니다. 이러한 실험들은 모델 품질 평가, 특정 주제 카테고리의 범위 분석, 그리고 범위와 다른 주제 모델 평가 방법 간의 관계 분석을 포함합니다. 본 논문은 새로운 감독형 범위 측정 지표와 첫 번째 비감독형 범위 측정 지표를 제공합니다. 감독형 측정 지표는 인간의 동의에 가까운 정확성을 달성하며, 비감독형 측정 지표는 감독형과 매우 높은 상관관계(Spearman's $ρ \geq 0.95$)를 보입니다. 다른 기여사항으로는 주제 모델과 다양한 평가 방법에 대한 통찰력, 그리고 미래의 주제 범위 연구를 용이하게 하는 데이터셋과 코드가 포함됩니다.