DiffBIR: 生成拡散事前分布を用いた盲画像復元へのアプローチ

私たちはDiffBIRを提案します。これは、異なる盲画像復元タスクを統一的なフレームワークで処理できる一般的な復元パイプラインです。DiffBIRは盲画像復元問題を2つの段階に分けて解消します：1) 画質劣化除去：画像に依存しない内容の除去；2) 情報再生：失われた画像内容の生成。各段階は独立して開発されていますが、連続的にシームレスに動作します。第1段階では、復元モジュールを使用して画質劣化を取り除き、高忠実度の復元結果を得ます。第2段階では、潜在拡散モデルの生成能力を利用して現実的な詳細を生成するIRControlNetを提案しています。具体的には、IRControlNetは、分散したノイズコンテンツがない特別に生成された条件画像に基づいて訓練され、安定した生成性能を達成します。さらに、推論中にモデルの再学習なしでデノイジングプロセスを修正できる領域適応型復元ガイダンスを設計しました。これにより、ユーザーは調整可能なガイダンススケールを通じて現実性と忠実度のバランスを取ることができます。広範な実験により、DiffBIRが合成データセットおよび実世界データセットにおいて盲画像超解像、盲顔面復元、盲画像デノイジングタスクで最先端アプローチに対して優れていることが示されました。コードはhttps://github.com/XPixelGroup/DiffBIRで公開されています。