17日前

GENIE:高次元ノイズ除去拡散ソルバー

Tim Dockhorn, Arash Vahdat, Karsten Kreis
GENIE:高次元ノイズ除去拡散ソルバー
要約

ノイズ除去拡散モデル(Denoising Diffusion Models, DDMs)は、強力な生成モデルのクラスとして注目を集めている。前向きな拡散過程によりデータは徐々にノイズが加えられ、その後、深層モデルがそのノイズを段階的に除去するように学習する。生成プロセスは、学習されたモデルによって定義される微分方程式(DE)を解くことに相当する。この微分方程式を解くには、高品質な生成を達成するためには遅い反復ソルバーが必要となる。本研究では、高次のノイズ除去拡散ソルバー(GENIE)を提案する。これは、切断されたテイラー法に基づく新しい高次ソルバーであり、生成プロセスを大幅に高速化する。本ソルバーは、摂動されたデータ分布の高次の勾配、すなわち高次のスコア関数に依存している。実際の実装では、ジャコビアン・ベクトル積(JVP: Jacobian-Vector Product)のみが必要であり、我々は自動微分を用いて1次スコアネットワークからこれを抽出する手法を提案する。さらに、これらのJVPを別個のニューラルネットワークに蒸留(distill)することで、生成時における本研究の新規サンプラーに必要な高次の項を効率的に計算可能とする。必要なのは、1次スコアネットワークの上に追加的な小さなヘッドを学習するのみである。GENIEは複数の画像生成ベンチマークにおいて検証され、従来のすべてのソルバーを上回ることを示した。最近の手法がDDMの生成プロセスそのものを根本的に変更するのに対し、GENIEは真の生成的微分方程式を解くものであり、エンコーディングやガイド付きサンプリングといった応用も可能である。プロジェクトページおよびコード:https://nv-tlabs.github.io/GENIE

GENIE:高次元ノイズ除去拡散ソルバー | 最新論文 | HyperAI超神経