HyperAIHyperAI

Command Palette

Search for a command to run...

半アモルタイズ変分オートエンコーダー

Yoon Kim Sam Wiseman Andrew C. Miller David Sontag Alexander M. Rush

概要

アモルティゼーション変分推論(Amortized Variational Inference, AVI)は、個々のインスタンスに特異的な局所的推論を、全体的な推論ネットワークで置き換えます。AVIは変分自己符号化器(Variational Autoencoder, VAE)などの深層生成モデルの効率的な学習を可能にしましたが、最近の経験的研究では、推論ネットワークが非最適な変分パラメータを生成することが示唆されています。本研究では、ハイブリッドアプローチを提案します。具体的には、AVIを使用して変分パラメータを初期化し、確率的変分推論(Stochastic Variational Inference, SVI)を用いてそれらを精緻化することです。重要な点は、局所的なSVI手順自体が微分可能であるため、推論ネットワークと生成モデルを勾配ベースの最適化によりエンドツーエンドで学習できるということです。この半アモルティゼーションアプローチは、テキスト生成のような問題においてVAEの学習で一般的に見られる事後分布崩壊現象(posterior-collapse phenomenon)を経験せずに豊かな生成モデルを使用することを可能にします。実験結果は、この手法が標準的なテキストデータセットや画像データセットにおいて強力な自己回帰基準モデルや変分基準モデルよりも優れていることを示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
半アモルタイズ変分オートエンコーダー | 記事 | HyperAI超神経