2ヶ月前

自動エンコーディング変分ベイズ

Diederik P Kingma; Max Welling
自動エンコーディング変分ベイズ
要約

大規模データセットと連続的な潜在変数を持つ非対称事後分布が存在する場合、有向確率モデルでの効率的な推論と学習をどのように行うことができますか?私たちは、大規模データセットにスケールし、若干の微分可能性の条件を満たす場合、非対称なケースでも機能する確率的変分推論および学習アルゴリズムを導入します。私たちの貢献は二つあります。第一に、変分下界の再パラメータ化により、標準的な確率的勾配法を使用して直接最適化できる下界推定器が得られることを示します。第二に、各データポイントごとに連続的な潜在変数を持つ独立同分布(i.i.d.)のデータセットの場合、提案された下界推定器を使用して非対称事後分布に対して近似推論モデル(認識モデルとも呼ばれます)を適合させることで、事後推論を特に効率的に行うことができることを示します。理論的な優位性は実験結果にも反映されています。注:- "intractable" は「非対称」または「扱いにくい」と訳されることが多いですが、「非対称」の方がより一般的な用語として使用されます。- "i.i.d." は「独立同分布」(Independent and Identically Distributed)の略です。- "reparameterization" は「再パラメータ化」と訳しました。- "stochastic gradient methods" は「確率的勾配法」と訳しました。

自動エンコーディング変分ベイズ | 最新論文 | HyperAI超神経