HyperAIHyperAI

Command Palette

Search for a command to run...

スコアベース拡散モデルの最尤推定訓練

Yang Song Conor Durkan Iain Murray Stefano Ermon

概要

スコアベースの拡散モデルは、データをノイズに徐々に拡散させる確率過程を逆方向に実行することでサンプルを生成するものであり、重み付きスコアマッチング損失の組み合わせを最小化することで学習される。スコアベースの拡散モデルの対数尤度は、連続的正規化フロー(continuous normalizing flows)との関係を通じて効率的に計算可能であるが、重み付きスコアマッチング損失の組み合わせは直接的に対数尤度を最適化するものではない。本研究では、特定の重み付けスキームにおいて、目的関数が負の対数尤度の上界を形成することを示し、これによりスコアベースの拡散モデルにおける近似的な最尤学習が可能となることを明らかにする。実験的に、最尤学習が複数のデータセット、確率過程、モデルアーキテクチャにわたり、一貫してスコアベースの拡散モデルの尤度を向上させることを観察した。我々の最良のモデルは、データ拡張を一切行わずにCIFAR-10およびImageNet 32x32においてそれぞれ2.83ビット/次元および3.76ビット/次元の負の対数尤度を達成し、これらのタスクにおける最先端の自己回帰モデルと同等の性能を発揮した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています