초록
최근 신경망 변분 추론의 발전은 깊은 잠재 변수 모델에 대한 부흥을 일으켰습니다. 본 논문에서는 생성 모델과 조건부 모델에 대한 일반적인 변분 추론 프레임워크를 소개합니다. 전통적인 변분 방법이 잠재 변수에 대한 계산 불가능한 분포의 해석적 근사를 도출하는 반면, 여기서는 이산 텍스트 입력에 조건부로 구성된 추론 네트워크를 사용하여 변분 분포를 제공합니다. 우리는 이 프레임워크를 생성 문서 모델링과 지도형 질문 응답이라는 두 가지 매우 다른 텍스트 모델링 응용 분야에서 검증하였습니다. 우리의 신경망 변분 문서 모델은 연속적인 확률적 문서 표현과 단어 봉투 생성 모델을 결합하여 두 개의 표준 테스트 코퍼스에서 가장 낮은 보고된 혼동도(perplexity)를 달성하였습니다. 신경망 답변 선택 모델은 주의 메커니즘 내에서 확률적 표현 계층을 사용하여 질문-응답 쌍 사이의 의미를 추출합니다. 두 개의 질문 응답 벤치마크에서 이 모델은 모든 기존 연구 결과를 초월하였습니다.