2ヶ月前

BIVA: 生成モデルのための非常に深い潜在変数階層構造

Lars Maaløe; Marco Fraccaro; Valentin Liévin; Ole Winther
BIVA: 生成モデルのための非常に深い潜在変数階層構造
要約

変分オートエンコーダ(VAE)の導入により、確率的な潜在変数モデルが強力な生成モデルとして再評価されるようになりました。しかし、テスト尤度や生成サンプルの品質に関しては、確率的ユニットを持たない自己回帰モデルに劣る結果となっています。さらに、フローに基づくモデルは最近、高次元データへのスケーラビリティが優れている魅力的な代替手段であることが示されています。本論文では、性能ギャップを埋めるために、深層の確率的変数を効果的に利用し、複雑な共分散構造をモデル化できるVAEモデルを構築します。双方向推論変分オートエンコーダ(BIVA)を導入します。BIVAはスキップ接続された生成モデルと双方向の確率的推論パスからなる推論ネットワークの特徴を持つモデルです。我々はBIVAが最先端のテスト尤度に達し、鮮明で一貫性のある自然画像を生成し、潜在変数の階層構造を利用してデータ分布の異なる側面を捉えることができることを示します。また、BIVAは最近の研究結果とは異なり、異常検出にも利用可能であることを確認しました。これは潜在変数の階層構造が高レベルの意味的な特徴を抽出できるためだと考えています。最後に、BIVAを半教師付き分類タスクに拡張し、生成対抗ネットワーク(GAN)による最先端の結果と同等の性能を示すことを実証しました。