要約
「事後収束（posterior collapse）」という現象により、現在の潜在変数生成モデルは、デコーダの能力を弱めるか、または目的関数をデータの尤度だけでなく最大化するように拡張するという難しい設計選択を迫られています。本論文では、最も強力な生成モデルを使用しつつ、変分下限を最適化し、潜在変数が有用な情報を保持して符号化することを確保する代替案を提案します。我々が提案する $\delta$-VAE は、事後の変分族が事前分布から最小距離を持つように制約することでこれを達成します。系列潜在変数モデルにおいて、我々のアプローチは古典的なスローフィーチャーアナリシスによる表現学習手法に類似しています。我々は、LM1B 上でのテキストモデリングと CIFAR-10 および ImageNet $32 \times 32$ 上での画像モデリングにおける有効性を示すとともに、表現学習やサンプル品質の向上にも寄与することを実証します。また、これらのタスクで最先端の対数尤度を達成しました。