반 암모르타이즈된 변분 오토인코더

평균화 변분 추론(AVI)은 인스턴스별 지역 추론을 전역 추론 네트워크로 대체합니다. AVI는 변분 오토인코더(VAE)와 같은 깊은 생성 모델의 효율적인 학습을 가능하게 했지만, 최근 경험적 연구에서는 추론 네트워크가 비최적의 변분 매개변수를 생성할 수 있음을 제시하고 있습니다. 우리는 AVI를 사용하여 변분 매개변수를 초기화하고 확률적 변분 추론(SVI)을 실행하여 이를 개선하는 하이브리드 접근 방식을 제안합니다. 중요한 점은 지역 SVI 과정 자체가 미분 가능하다는 것입니다. 따라서 추론 네트워크와 생성 모델은 그래디언트 기반 최적화를 통해 단일 시스템으로 학습될 수 있습니다. 이 반-평균화 접근 방식은 텍스트 생성과 같은 문제에서 VAE 학습 시 일반적으로 발생하는 사후 붕괴 현상을 겪지 않고도 풍부한 생성 모델의 사용을 가능하게 합니다. 실험 결과, 이 접근 방식이 표준 텍스트 및 이미지 데이터셋에서 강력한 자기회귀 및 변분 베이스라인보다 우수한 성능을 보임을 확인할 수 있었습니다.