12일 전

비지도 문법 유도에서 소프트 파라미터 타이잉을 위한 공유 로지스틱 정규 분포

{Noah A. Smith, Shay Cohen}
비지도 문법 유도에서 소프트 파라미터 타이잉을 위한 공유 로지스틱 정규 분포
초록

우리는 확률적 문법 가중치에 대한 사전 분포의 가족으로서, 공유 로지스틱 정규 분포(shared logistic normal distribution)를 제안한다. 이 가족은 분할된 로지스틱 정규 분포를 확장한 것으로, 확률적 문법 내 다양한 도출 사건의 확률 간 인자화된 공분산을 가능하게 하여, 알 수 없는 문법에 대한 사전 지식을 새로운 방식으로 표현할 수 있다. 본 논문에서는 이 사전 분포 가족을 기반으로 한 확률적 문법 학습을 위한 변분 기반 EM 알고리즘을 제시한다. 이후 비지도 의존 문법 유도(task)에 대해 실험을 수행하여, 단일 언어 학습 및 비병렬 다국어 코퍼스를 활용한 이중 언어 학습 모두에서 제안 모델이 의미 있는 성능 향상을 보였음을 보여준다.

비지도 문법 유도에서 소프트 파라미터 타이잉을 위한 공유 로지스틱 정규 분포 | 최신 연구 논문 | HyperAI초신경