2ヶ月前

画像ノイズ除去のための適応埋め込みおよびアンサンブルを用いた拡散モデルの刺激

Li, Tong ; Feng, Hansen ; Wang, Lizhi ; Xiong, Zhiwei ; Huang, Hua
画像ノイズ除去のための適応埋め込みおよびアンサンブルを用いた拡散モデルの刺激
要約

画像ノイズ除去は計算写真の基本的な問題であり、高感度と低歪みを同時に実現することは非常に困難です。現在の方法は、感覚的品質に苦戦するか、または著しい歪みを引き起こす傾向があります。最近、新興の拡散モデルが様々なタスクで最先端の性能を達成し、画像ノイズ除去においても大きな可能性を示しています。しかし、画像ノイズ除去のために拡散モデルを刺激することは簡単ではなく、いくつかの重要な問題を解決する必要があります。まず、入力の一貫性欠如が拡散モデルと画像ノイズ除去との接続を阻害します。また、生成された画像と望ましいノイズ除去後の画像の間での内容の一貫性欠如が歪みを導入します。これらの問題に対処するために、我々はノイズ除去の観点から拡散モデルを理解し再考することにより、新しい戦略である「Diffusion Model for Image Denoising(DMID)」を提案します。我々のDMID戦略には、ノイジーな画像を事前学習済みの無条件拡散モデルに埋め込む適応埋め込み手法と、ノイズ除去後の画像における歪みを軽減する適応アンサンブル手法が含まれています。我々のDMID戦略は、ガウシアンノイズおよび実世界の画像ノイズ除去において、歪みに基づく指標と感度に基づく指標の両方で最先端の性能を達成しています。コードは https://github.com/Li-Tong-621/DMID で公開されています。