Command Palette
Search for a command to run...
Resfusion: 事前残差ノイズに基づく画像復元のためのデノイジング拡散確率モデル
Resfusion: 事前残差ノイズに基づく画像復元のためのデノイジング拡散確率モデル
Zhenning Shi Haoshuai Zheng Chen Xu Changsheng Dong Bin Pan Xueshuo Xie Along He Tao Li Huazhu Fu
概要
最近、ノイズ除去拡散モデルに関する研究が画像復元分野への応用を広げています。従来の拡散型画像復元手法では、劣化した画像を条件入力として利用し、元のノイズ除去拡散プロセスを変更することなく逆生成プロセスを効果的にガイドします。しかし、劣化した画像にはすでに低周波数情報が含まれているため、ガウシアン白色雑音から開始するとサンプリングステップが増加します。そこで我々は Resfusion(レスフュージョン)と呼ばれる一般的なフレームワークを提案します。このフレームワークは残差項を拡散前進プロセスに組み込み、逆プロセスを直接ノイジーな劣化画像から開始します。我々の推論プロセスの形式はDDPMと一致しています。予測目標として重み付き残差雑音(resnoise)を導入し、resnoiseにおける残差項と雑音項との定量的な関係を明示的に提供します。滑らかな同値変換を利用して、Resfusionは最適な加速ステップを決定し、既存のノイズスケジュールの整合性を維持しながら訓練と推論のプロセスを統一します。実験結果は、ISTDデータセット、LOLデータセットおよびRaindropデータセットにおいて5つのサンプリングステップのみで競合する性能を持つことを示しています。さらに、Resfusionは画像生成にも容易に適用でき、高い汎用性を持っています。当該コードとモデルは https://github.com/nkicsl/Resfusion で公開されています。