17日前

多様体上の拡散モデルにおける擬数値手法

Luping Liu, Yi Ren, Zhijie Lin, Zhou Zhao
多様体上の拡散モデルにおける擬数値手法
要約

ノイズ除去拡散確率モデル(Denoising Diffusion Probabilistic Models, DDPMs)は、画像や音声など高品質なサンプルを生成できるが、最終的なサンプルを得るには数百~数千回の反復処理が必要である。これまでの研究では、分散スケジュールの調整(例:Improved Denoising Diffusion Probabilistic Models)やノイズ除去方程式の改良(例:Denoising Diffusion Implicit Models, DDIMs)により、DDPMの推論速度を向上させる手法が提案されてきた。しかし、これらの加速手法はサンプル品質を維持できず、特に高速化率が高い場合に新たなノイズを導入する傾向があり、実用性に制限を受けてきた。本研究では、推論速度の向上とサンプル品質の維持の両立を実現するため、DDPMを多様体上の微分方程式の解法として捉える新たな視点を提示する。この視点のもと、拡散モデルにおける疑似数値解法(Pseudo Numerical Methods for Diffusion Models, PNDMs)を提案する。具体的には、多様体上での微分方程式の解法法を明らかにし、DDIMsが疑似数値解法の特別なケースであることを示す。また、従来の古典的数値解法を対応する疑似数値解法に変換し、その中で疑似線形多段法が多くの状況において最も優れた性能を発揮することを明らかにする。実験結果によれば、Cifar10、CelebA、LSUNの各データセットにおいて、事前学習済みモデルをそのまま利用した場合、PNDMsは1000ステップのDDIMsと比較してわずか50ステップでより高品質な合成画像を生成でき(20倍の高速化)、250ステップのDDIMsと比較してもFIDスコアで約0.4の優位性を示し、異なる分散スケジュールに対しても良好な汎化性能を示す。本研究の実装コードは、https://github.com/luping-liu/PNDM にて公開されている。

多様体上の拡散モデルにおける擬数値手法 | 最新論文 | HyperAI超神経