17日前

SciRE-Solver:再帰的差分を用いたスコア被積分関数ソルバーによるDiffusionモデルのサンプリング高速化

Shigui Li, Wei Chen, Delu Zeng
SciRE-Solver:再帰的差分を用いたスコア被積分関数ソルバーによるDiffusionモデルのサンプリング高速化
要約

拡散モデル(Diffusion Models, DMs)は、画像、音声、動画生成の分野で顕著な進展を遂げている。しかし、DMsの課題の一つとして、反復的な生成プロセスが遅いことが挙げられる。近年の高速サンプリングアルゴリズムは、微分方程式の観点から設計されている。しかしながら、テイラー展開に基づく高次のアルゴリズムでは、大規模かつ高精度に訓練されたニューラルネットワークの複雑さにより、スコア関数の導関数を推定することが困難となる。この問題に鑑み、本研究では、DMsの文脈においてスコア関数の導関数を計算するための再帰的差分(Recursive Difference, RD)法を導入する。RD法とスコア被積分関数の切り捨てられたテイラー展開を組み合わせることで、収束次数の保証付きでDMsのサンプリングを高速化するアルゴリズム「SciRE-Solver」を提案する。さらに、RD法の有効性を検証するため、RD法と指数積分法(exponential integrator)を組み合わせた変種「SciREI-Solver」も提案する。本研究で提案するRD法を用いたサンプリングアルゴリズムは、従来のトレーニングフリーなサンプリング手法と比較して、離散時間および連続時間の事前学習済みDMsにおいて、さまざまなスコア関数評価回数(NFE: Number of Function Evaluations)条件下で最先端(SOTA)のFIDスコアを達成した。特に、わずかなNFE(評価回数)で動作するSciRE-Solverは、元の論文で1000回以上のNFEを用いて達成されたFIDを上回る可能性を示している。具体的には、CIFAR-10データセットにおいて、連続時間DMで100 NFEで2.40のFID、離散時間DMで84 NFEで3.15のFIDを達成。また、CelebA 64×64データセットにおいては、離散時間DMで18 NFE(50 NFE)で2.17(2.02)のFIDを実現し、いずれもSOTAの性能を達成した。