HyperAIHyperAI

Command Palette

Search for a command to run...

Flow++: 変分デクアンタイゼーションとアーキテクチャ設計を用いたフローベースの生成モデルの改善

Jonathan Ho Xi Chen Aravind Srinivas Yan Duan Pieter Abbeel

概要

フロー型生成モデルは、効率的なサンプリングと推論を備えた強力な正確な尤度モデルです。それにもかかわらず、フロー型モデルは一般的に最先端の自己回帰モデルと比較して密度モデリングの性能が著しく劣ります。本論文では、これまでの研究でフロー型モデルが採用してきた3つの制約的な設計選択肢について調査し、改善を行いました。これらの選択肢とは、一様ノイズを使用した量子化解除(dequantization)、表現力の乏しいアフィンフローの使用、結合層における純粋に畳み込みによる条件付けネットワークの使用です。当該調査に基づき、我々は新しいフロー型モデルであるFlow++を提案します。これは現在、標準的な画像ベンチマークにおいて無条件密度推定において最先端の非自己回帰モデルとなっています。我々の研究により、自己回帰モデルとフロー型モデルとの間に存在していた著しい性能差が縮まることとなりました。実装コードは https://github.com/aravindsrinivas/flowpp で公開されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています