초구형 변분 오토인코더

변분 오토인코더(Variational Auto-Encoder, VAE)는 가장 많이 사용되는 비지도 기계 학습 모델 중 하나입니다. 그러나 사전 확률 분포와 사후 확률 분포 모두 가우시안 분포를 기본적으로 선택하는 것은 수학적으로 편리한 분포로, 종종 경쟁력 있는 결과를 초래하지만, 이 매개변수화는 잠재 초구조(hyperspherical structure)를 가진 데이터를 모델링하는 데 실패함을 보여줍니다. 이러한 문제를 해결하기 위해 우리는 폰 미제스-피셔(von Mises-Fisher, vMF) 분포를 사용하여 초구형 잠재 공간(hyperspherical latent space)을 생성하는 것을 제안합니다. 일련의 실험을 통해 이러한 초구형 VAE, 또는 $\mathcal{S}$-VAE가 잠재 초구 구조를 가진 데이터를 포착하는 데 더 적합하며, 다른 데이터 유형에서 저차원(low dimensions)에서는 일반적인 $\mathcal{N}$-VAE보다 우수한 성능을 발휘함을 보여줍니다. 코드는 http://github.com/nicola-decao/s-vae-tf 와 https://github.com/nicola-decao/s-vae-pytorch 에서 확인할 수 있습니다.