초록
'포스터리어 붕괴(posterior collapse)' 현상 때문에 현재의 잠재 변수 생성 모델은 디코더의 성능을 약화시키거나 목적 함수를 데이터의 가능성을 최대화하는 것뿐만 아니라 강화해야 하는 어려운 설계 선택을 안고 있습니다. 본 논문에서는 가장 강력한 생성 모델을 디코더로 활용하면서 변분 하위 경계를 최적화하고, 동시에 잠재 변수가 유용한 정보를 보존하고 인코딩하도록 하는 대안을 제시합니다. 제안된 $\delta$-VAE는 사후 확률 분포의 변분 가족이事前分布保持一定的距离(prior에 일정 거리를 유지)를 통해 이를 실현합니다. 순차적인 잠재 변수 모델에 대해 우리의 접근 방식은 고전적인 표현 학습 방법인 천천히 변화하는 특성 분석(slow feature analysis)과 유사합니다. 우리는 LM1B에서 텍스트 모델링과 CIFAR-10 및 ImageNet $32\times 32$에서 이미지 모델링, 표현 학습, 샘플 품질 개선 및 최고 수준의 로그 가능성(log-likelihood) 달성 등 다양한 측면에서 우리 접근 방식의 효과성을 입증하였습니다.注：在翻译中，我将“事前分布”翻译为“prior”，并将其融入到句子中以保持流畅性和准确性。