テキスト処理における変分オートエンコーダ（VAE）の特徴は、LSTMなどの強力なエンコーダー-デコーダーモデルと、通常は多変量ガウス分布のような単純な潜在分布を組み合わせていることです。これらのモデルは困難な最適化問題を呈しています：特に悪い局所最適解が存在し、その解では変分事後分布が常に事前分布に等しくなり、モデルが潜在変数を使用しない「崩壊」が目的関数のKLダイバージェンス項によって促進されます。本研究では、単位超球面上に質量を配置するフォン・ミーゼス・フィッシャー（von Mises-Fisher, vMF）分布という別の潜在分布の選択肢について実験を行いました。この事前分布と事後分布を選択することで、KLダイバージェンス項はvMF分布の分散のみに依存し、これを固定ハイパーパラメータとして扱うことが可能になります。我々はこれを行うことでKL崩壊を回避できることだけでなく、再帰的な言語モデリングやbag-of-words文書モデリングなど、さまざまなモデリング条件においてガウシアンよりも一貫して良い尤度を与えることを示しました。vMF表現の特性分析では、その潜在表現がガウシアンのそれよりも豊かで複雑な構造を学習することを確認しました。