초록
대규모 데이터셋과 연속적인 잠재 변수의 계산 불가능한 사후 분포가 존재하는 상황에서 유향 확률 모델에서 효율적인 추론과 학습을 어떻게 수행할 수 있을까요? 우리는 대규모 데이터셋에 적용 가능하며, 일부 미세한 미분 조건 하에서는 계산 불가능한 경우에도 작동하는 확률적 변분 추론 및 학습 알고리즘을 소개합니다. 우리의 기여는 두 가지입니다. 첫째, 변분 하위 경계의 재매개변수화(reparameterization)를 통해 표준 확률 경사 방법을 사용하여 간단히 최적화할 수 있는 하위 경계 추정기를 도출하였습니다. 둘째, 각 데이터 포인트마다 연속적인 잠재 변수를 갖는 독립 동일 분포(i.i.d.) 데이터셋의 경우, 제안된 하위 경계 추정기를 사용하여 계산 불가능한 사후 분포에 근사 추론 모델(또는 인식 모델)을 적합시키면 사후 추론이 특히 효율적으로 이루어질 수 있음을 보였습니다. 이론적인 장점은 실험 결과에서도 반영되었습니다.