2ヶ月前

Flow++: 変分デクアンタイゼーションとアーキテクチャ設計を用いたフローベースの生成モデルの改善

Jonathan Ho; Xi Chen; Aravind Srinivas; Yan Duan; Pieter Abbeel
Flow++: 変分デクアンタイゼーションとアーキテクチャ設計を用いたフローベースの生成モデルの改善
要約

フロー型生成モデルは、効率的なサンプリングと推論を備えた強力な正確な尤度モデルです。それにもかかわらず、フロー型モデルは一般的に最先端の自己回帰モデルと比較して密度モデリングの性能が著しく劣ります。本論文では、これまでの研究でフロー型モデルが採用してきた3つの制約的な設計選択肢について調査し、改善を行いました。これらの選択肢とは、一様ノイズを使用した量子化解除(dequantization)、表現力の乏しいアフィンフローの使用、結合層における純粋に畳み込みによる条件付けネットワークの使用です。当該調査に基づき、我々は新しいフロー型モデルであるFlow++を提案します。これは現在、標準的な画像ベンチマークにおいて無条件密度推定において最先端の非自己回帰モデルとなっています。我々の研究により、自己回帰モデルとフロー型モデルとの間に存在していた著しい性能差が縮まることとなりました。実装コードは https://github.com/aravindsrinivas/flowpp で公開されています。

Flow++: 変分デクアンタイゼーションとアーキテクチャ設計を用いたフローベースの生成モデルの改善 | 最新論文 | HyperAI超神経