2ヶ月前
超球変分オートエンコーダー
Tim R. Davidson; Luca Falorsi; Nicola De Cao; Thomas Kipf; Jakub M. Tomczak

要約
変分オートエンコーダ(Variational Auto-Encoder, VAE)は、最も広く使用されている非教師あり機械学習モデルの一つです。しかし、事前分布と事後分布の両方にガウス分布を用いるというデフォルトの選択が数学的に便利な分布であり、しばしば競争力のある結果をもたらす一方で、このパラメータ化は潜在的な超球面構造を持つデータをモデル化するのに失敗することが示されています。この問題に対処するために、フォン・ミーゼス・フィッシャー(von Mises-Fisher, vMF)分布を使用することを提案します。これにより、超球面的な潜在空間が得られます。一連の実験を通じて、このような超球面的なVAE($\mathcal{S}$-VAE)が潜在的な超球面構造を持つデータを捉えるのにより適しており、他のデータタイプにおいても低次元では通常の$\mathcal{N}$-VAEを上回ることが示されています。コードは http://github.com/nicola-decao/s-vae-tf および https://github.com/nicola-decao/s-vae-pytorch で入手可能です。