초록
최근 몇 년간 계층적 VAE(Variational Autoencoder)는 최대우도 추정(maximum likelihood estimation)을 위한 신뢰할 수 있는 방법으로 부상했다. 그러나 불안정성 문제와 높은 계산 자원 요구로 인해 이 분야의 연구 진전이 제한되어 왔다. 본 연구에서는 매우 깊은 VAE(Very Deep VAE)에 간단한 수정을 가함으로써 수렴 속도를 최대 2.6배 빠르게 하고, 메모리 사용량을 최대 20배 절감하며 학습 중 안정성을 향상시킬 수 있음을 제시한다. 이러한 개선에도 불구하고, 평가한 7개의 일반적으로 사용되는 이미지 데이터셋에서 기존 최고 성능 모델들과 비교해 유사하거나 더 우수한 음의 로그 가능도(negative log-likelihood) 성능을 달성한다. 또한, 5비트 양자화로 인한 부정적인 편향(bias) 때문에 5비트 벤치마크를 계층적 VAE 성능 평가 수단으로 사용하는 것은 바람직하지 않다는 논거를 제시한다. 더불어, 경험적으로 계층적 VAE의 잠재 공간 차원 중 약 3%만으로도 이미지의 대부분 정보를 손실 없이 표현할 수 있음을 입증함으로써, 후속 작업에서 계층적 VAE의 잠재 공간을 효율적으로 활용할 수 있는 길을 열었다. 본 연구의 소스 코드와 모델은 https://github.com/Rayhane-mamah/Efficient-VDVAE 에 공개된다.