HyperAIHyperAI

Command Palette

Search for a command to run...

残差フローによる可逆生成モデル링の構築

Ricky T. Q. Chen; Jens Behrmann; David Duvenaud; Jörn-Henrik Jacobsen

概要

フロー型生成モデルは、逆変換を用いて確率分布をパラメータ化し、最大尤度法によって訓練することができます。逆残差ネットワークは、厳密なアーキテクチャの制約ではなくリプシッツ条件を満たすことで逆変換性を確保する柔軟な変換の家族を提供します。しかし、従来の研究では密度推定のために逆残差ネットワークを訓練する際、ネットワークの表現力が高まるにつれて偏りが増加する偏った対数密度推定に依存していました。私たちは「ロシアンルーレット」推定量を使用して、計算可能な無偏の対数密度推定を与え、訓練中に必要なメモリ量を減らすために勾配の代替無限級数を使用しました。さらに、導関数の飽和を避ける活性化関数の使用とリプシッツ条件を誘導混合ノルムに一般化することにより、逆残差ブロックを改善しました。この結果得られた手法である「Residual Flows(残差フロー)」は、フロー型モデルの中でも密度推定において最先端の性能を達成しており、結合生成および判別モデリングにおいてカップリングブロックを使用するネットワークよりも優れた性能を示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています