HyperAIHyperAI

Command Palette

Search for a command to run...

delta-VAE を用いた後方崩壊の防止

Ali Razavi Aaron van den Oord Ben Poole Oriol Vinyals

概要

「事後収束(posterior collapse)」という現象により、現在の潜在変数生成モデルは、デコーダの能力を弱めるか、または目的関数をデータの尤度だけでなく最大化するように拡張するという難しい設計選択を迫られています。本論文では、最も強力な生成モデルを使用しつつ、変分下限を最適化し、潜在変数が有用な情報を保持して符号化することを確保する代替案を提案します。我々が提案する δ\deltaδ-VAE は、事後の変分族が事前分布から最小距離を持つように制約することでこれを達成します。系列潜在変数モデルにおいて、我々のアプローチは古典的なスローフィーチャーアナリシスによる表現学習手法に類似しています。我々は、LM1B 上でのテキストモデリングと CIFAR-10 および ImageNet 32×3232 \times 3232×32 上での画像モデリングにおける有効性を示すとともに、表現学習やサンプル品質の向上にも寄与することを実証します。また、これらのタスクで最先端の対数尤度を達成しました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています