17日前

リフレクテッド拡散モデル

Aaron Lou, Stefano Ermon
リフレクテッド拡散モデル
要約

スコアベースの拡散モデルは、データをノイズに写像する確率微分方程式(SDE)を逆に学習する。しかし、複雑なタスクにおいては数値誤差が累積し、極めて不自然なサンプルが生成されることがある。従来の手法では、各拡散ステップの後に自然なデータ領域(画像の場合、画素空間など)に射影する「しきい値処理(thresholding)」によってこのずれを緩和していたが、これにより学習プロセスと生成プロセスの間に不一致が生じる。本研究では、データ制約を原理的な枠組みで組み込むために、データのサポート上を進化する「反射型確率微分方程式(reflected SDE)」を逆に学習する「反射拡散モデル(Reflected Diffusion Models)」を提案する。本手法は、一般化されたスコアマッチング損失を通じて摂動されたスコア関数を学習し、標準的な拡散モデルの主要な構成要素である拡散ガイダンス、尤度に基づく学習、およびODEによるサンプリングを拡張している。さらに、しきい値処理と理論的なギャップを埋める:こうした手法は、反射型SDEの離散化に他ならないことを示した。標準的な画像ベンチマークにおいて、本手法はアーキテクチャの変更なしに、最先端の性能と同等あるいはそれを上回り、特に分類器フリー・ガイダンスにおいてはODEによる高速かつ正確なサンプリングが可能となり、高いガイダンス重み下でもより忠実なサンプルを生成することが可能となった。

リフレクテッド拡散モデル | 最新論文 | HyperAI超神経